week11+12

本周工作#

回顾#

|模型 & $p_{llm}$ & Token 预算 & FLOPs(T)$\downarrow$ & 总体准确率$\uparrow$ \ \midrule

|:---: |:---: |:---: |:---: |:---: | |完整模型 & — & 100% & 100.69 & 46.00 \ Dycoke & — & 50% & 81.81 & 43.66 \ Omnizip & — & 45% & 72.04 & 45.37 \ Ours & 50% & 67% / 33.5% & 70.11 & 45.52 \ Ours & 40% & 67% / 26.8% & 67.82 & 45.46 \ Ours & 30% & 67% / 20.1% & 65.55 & 45.21 \ \bottomrule

实验#

分数-层数

分数-性能

Pearson r = 0.801938083380053

剪枝层选择类论文#

• Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference ↗

在深层 MLLM 中不需要Vision代币

Token 处理策略：该方法通过前 K-1 层正常处理 token，允许完整的视觉信息处理和跨模态信息传输。从第 K 层开始，只有文本 token（系统、指令和输出 token）通过剩余层继续。

$K^* = \arg\min_K \{KL(P_{standard}||P_{VTW}^{(K)}) < \eta\}$

设置 $\eta = 0.003$

尝试了性能下降明显，

• Fit and Prune: Fast and Training-free Visual Token Pruning for Multi-modal Large Language Models ↗

LLaVA 中交叉注意力图和自注意力图的可视化，展示了不同层如何关注不同的视觉区域。注意力模式揭示了哪些视觉标记对模型的理解最重要

• 自注意力分布（$D_S$）：这捕捉了视觉标记(Q)如何关注其他视觉标记，代表内部视觉处理和特征关系。
• 交叉注意力分布（$D_C$）：这衡量了文本标记(Q)如何关注视觉标记，表明哪些视觉信息与语言生成最相关。

$\arg\min_P [d(D_S, D'_S) + d(D_C, D'_C)] \quad \text{subject to} \quad \Phi(G, P) \leq \delta$

在移除标记时最小化这些注意力模式的变化; $\Phi(G, P)$ 表示计算开销，$\delta$ 是预算约束

• PyramidDrop: Accelerating Your Large Vision-Language Models via Pyramid Visual Redundancy Reduction ↗

视觉标记的重要性在不同层之间差异巨大

分阶段剪枝, 固定剪枝率，所有图像token与最后一个指令token之间

• ATP-LLaVA: Adaptive Token Pruning for Large Vision Language Models ↗

带训练的剪枝层选择，给了一个权重 loss 随着剩余代币数量和层深度的增加而增加，先验性的