莫叶何竹🍀

多模态模型如何处理任意分辨率输入：位置编码设计

Wed, 17 Jun 2026 16:00:00 GMT

type

Post

status

Published

date

Jun 18, 2026

slug

vllm_any_resolution_pos

summary

本文围绕 decoder-only 多模态模型中的位置编码设计，讨论了视觉 token 从二维/三维结构被展平成一维序列后带来的位置表达问题。 Vanilla 1D RoPE 的优势是简单、兼容预训练 LLM，但它会把图像中的二维几何关系压缩到一维序列距离中。对于任意分辨率输入，同样的空间相对位置可能对应不同的一维相对距离，这会增加模型学习空间结构的难度。 3D RoPE / MRoPE 的核心思路，是让序列仍然保持一维输入形式，但为每个 token 分配三维 position id，即 $(t,h,w)$。这样既能兼容文本 token 的 1D RoPE 先验，又能让视觉 token 保留时间、高度、宽度方向上的几何相对关系。 MRoPE-I、MHRoPE 等方法在频率分配层面改进标准 MRoPE，使不同位置轴能更充分地利用 RoPE 的频谱。

1 前言

接上文多模态模型如何处理任意分辨率输入——Tiling与Packing技术详解和补充公式推导，本文继续讨论另一个很重要的问题：当图片/视频被处理成动态长度的视觉 token 后，位置编码应该怎么设计。

对于常规的多模态模型而言（不妨只考虑图文多模态），图片经过图片encoder，connector后得到图片特征，随后与文本特征共同输入到decoder中，模态间特征充分“融合”后得到输出。

任意分辨率的VLM（visual-language model）的架构，根据视觉特征的“融合”方式，主要可以分为2大类

采用cross-attention的方式交互。代表模型有视觉版本LLama3，flamingo，nougat等。这个形式图片特征通过cross-attention层交互，LLM decoder侧的位置编码与沿用语言模型。

图片特征与文本特征在输入层进行拼接，采用Self-Attention层交互。此时可以将图片特征视为visual token，此时的多模态模型可以视作为decoder-only的多模态模型。

两种架构不同的task精度各有千秋。但从部署的角度来看，当前部署生态和推理优化仍更偏向 decoder-only，cross-attention 支持和优化复杂度更高，目前推理引擎如vLLM的主要适配decoder-only模型的高效推理，并未对cross-attention的架构做优化。可见这个ISSUE：

文本主要探讨的是decoder-only多模态模型的位置编码设计。

2 多模态输入处理链路

先不考虑batch，以单个多模态输入为视角。以一个简单的VQA问题为例，假定多模态输入如下，

其输入有2种模态：（文本，图片），其输出只有文本模态。（即是一个text+image → text问题）。在teacher forcing的训练策略下，其输入可以表示为

这张图片中的卡通形象是什么

图片

皮卡丘

我们来画一下架构图

从上图不难发现，多模态的输入处理链路很简单，主要分为2步

（一）tokenize

输入文本通过训练好的tokenizer进行分词，在用word embedding层将分词映射为其表示的embedding，如下

text1的embedding

text2的embedding

分别表示text1和text2的token数目

上标表示表示这个embedding为文本embedding

表示decoder的特征维度

图片tokenize

图片通过image tokenizer，将图片转为图片embedding。为了和文本的维度对齐，会将图片特征由2D 网格展平为 1D 序列，并通过projector对齐到

表示输入图片一共有多少token。

上标表示表示这个embedding为图片embedding

表示decoder的特征维度

image tokenizer目前的主流做法是，如QwenVL。也有一些encoder-free的做法，直接用作为image tokenizer如Fuyu8B，Falcon Perception，google最新提出的Gemma4等。不论什么做法，最终的目的都是将图片转为1D序列。

（2）多模态特征拼接

这一步很简单，根据输入的顺序来对不同模态的embedding进行拼接

最终进入 LLM 的 embedding 可以写成：

3 多模态位置编码设计

经过上述处理后，已经将多模态的输入都统一成1D的序列，解决了不同模态如何输入到同一个LLM的问题。我们知道对于Transformer而言，self-attention对输入序列满足置换等变性（Permutation Equivariance），无法感知token得绝对位置/相对位置。因此LLM模型中会额外对输入序列引入位置编码，来使self-attention的计算能感知到位置信息。

对于LLM的CausalTransformer而言self-attention的计算会额外引入causal mask，causal mask也会打破self-attention的置换等变性，从而为模型提供隐式的位置线索(NoPE对此现象做了系统研究)。但目前主流的LLM还是会加入显式位置编码，从归纳偏置（inductive bias）的角度看，位置编码为模型提供了序列结构的先验知识，能够降低位置关系的学习难度。同时，大量实验结果也表明，额外添加位置编码不论从训练效率还是从模型性能而言都有一定的提升。

目前的LLM大多以RoPE（Rotary Position Embedding）及其各种变体。

对于RoPE的相关详细知识，文本不会深入探讨，感兴趣的读者，可以参考阅读笔者之前的相关博客

Step by Step: Understanding ROPE

3.1 Vanilla 1D RoPE

我们知道，self-attention的核心需要通过的点乘来计算相关度。RoPE的位置编码的作用是让引入了位置编码的向量点乘后蕴含相对位置编码关系，即

是位置索引。

根据前文的描述，现有的多模态架构，图片、文本经过各自的tokenizer后会沿着序列维度拼接成1个1D得多模态序列，既然其输入的维度与标准的LLM一致，那么是否能直接沿用LLM的位置编码设计呢？

答案是可以，这种位置编码方式一般称作Vanilla 1D RoPE。

为什么深入理解这个问题，我们系统探究下image-tokenize的过程，即图片是怎么从一个的矩阵变成1D的序列

从上图可见，图片从像素空间变为1D序列主要通过patchify和flatten两个操作，vision transformer和projector只会改变图片token的表征，不会改变顺序。

下图具体展现了flatten后（按照raster scan的方式），图片token对应（width,height）的位置信息。（视频的话还有个temporal的轴）。

从上图不难得出

对于采用raster scan方式展平成1D的图片而言，展平后的1D位置与在原始宽高坐标系的位置，满足如下关系

根据上式，我们可以计算其中两个视觉token的相对位置

从中可见，两个图片token的位置差与3个因素有关

高度相对位移：

宽度相对位移：

宽度方向的网格大小：

对于任意分辨率的多模态模型而言，输入的image width是动态的，这将导致宽度方向的网格大小是可变的。因此，同样的2D相对位置关系，在flatten后，可能对应不同的1维相对位置。

举个例子

红、蓝所代表的patch（上下相邻），其在2D网格的相对位移为

但在1D序列的位置差为(根据式7)

总结一下Vanilla 1D RoPE：

优点	缺点
实现简单	对于不同分辨率的图片而言，在2D网格同样的相对位置关系，映射到1D后，不是一个稳定的相对位移。模型需要额外的学到这种pattern。
如果是decoder迁移已有的LLM，位置编码与原本完全兼容，能较大限度保留LLM的原有能力。	如果多模态的输入图片分辨率很大，亦或涉及到多图输入或者视频输入（也可以当做多图处理，需要设计一下temporal维度的变化），位置编码的增长速度会很快。

3.2 从1D-RoPE到3D RoPE

3.2.1 3D RoPE算法原理

针对 Vanilla 1D RoPE的缺点。目前的多模态模型大多采用3D-RoPE的形式（如qwen-VL，falcon-perception等）。一般至少遵循以下2个设计原则：

在文本位置的位置编码能够兼容1D-RoPE，从而尽量保留原有LLM的能力。

在图片/视频位置的编码能够保留其几何相对位置结构。

从理论层面，很容易将1D-RoPE扩展到3D-RoPE。

最直觉且有效的做法，直接将的特征向量划分为3个子向量，分别编码1D-RoPE。

假定为在序列位置处的query，其3D的坐标是

分别表示作用在三个子空间上的RoPE旋转矩阵。

同样假定为在序列位置处的key，其3D坐标为,他们的点乘计算如下：

是旋转矩阵的一个性质。

通过将，的特征向量划分3个子向量，并分别对这3个子空间编码位置为的一维RoPE，使其点乘后的结果显式依赖三个方向的相对位移，这就是3D-RoPE的核心算法思想。从中不难看出，对于3D-RoPE而言，sequence仍然是一维的，但position id可以是3维的

3.2.2 如何分配频率

在上面的理论推导中，我们有一个默认的假设：将query/key通道前1/3的特征用于编码，中间1/3的特征编码，后1/3的特征编码，不妨表示为:

注意，即使通道数无需强制被3整除，比如通道数为10，可以认为划分分配的section[3,3,4]

这样的分配每个轴只拿到某一段连续的频谱，可能限制其只能感知到某个尺度的位置关系，在《Revisiting Multimodal Positional Encoding in Vision-Language Models》中提出了2种RoPE的变体来解决full-frequency utilization问题。

MRoPE-I

其一是交替编码，这样每个轴都能在完整频谱上均匀采样到高、中、低频，形如：

RoPE是按照2维pair旋转的，故是这种chunk为2的交替循环方式。

MHRoPE

其二是不同的attention head的query，key只编码1个轴的信息。比如说1-2的head编码，3-5的head编码，6-8的head编码。

3.2.3 如何分配3D-Position ID

对于一个多模态序列而言，其输入到LLM中是1维，但我们可以给每一个index 赋予一个3维的位置信息。通常的设计原则有：

纯文本输入时，能够退化为1D-RoPE，从而尽量保留预训练LLM的先验

在图片/视频位置的编码能够保留其几何相对位置结构

多个文本/视觉块交错时，position id 不会产生混淆，能正常接续。

这个问题的解决方案有很多，笔者这里陈列一些方案，为了便于理解，以前文的多模态VQA的例子具体说明

方案1: 独立考虑和

若预训练的LLM本身时partial-RoPE，一半编码时序信息，一半没有时序信息。那么保留原有时序RoPE子空间不变，用LLM中原本未参与RoPE的位置子空间来承载空间坐标编码，如falcon-perception的做法。

方案2: 联合考虑，以qwen-vl的mrope为例

在qwen-VL及大多多模态模型中，将文本token的位置设置在对角线轴，即

为位置处的文本token

显然，当为纯文本输入时，3D position id退化为原本的1D position id。

下面来看多模态序列交错时的位置编码排布方式：

从上图可见，前面文本共有 6 个 token，它们的位置为：

接下来进入图片 token。图片可以看作帧数为1的视频，因此每个图片 token 的局部几何坐标可以写成：

其中分别表示该token在图片网格中的行坐标和列坐标。

标准 MRoPE 不会直接使用局部坐标，而是会给三个轴都加上一个全局 offset ：

这里的表示当前视觉块在全局position id空间中的起点。它通常取为前面所有token已经使用过的最大position id加1：

因此图片块的 offset 为

再根据式15，就可以算出所有图片的3D坐标（可见前面的示意图）

这样做有两个好处：

图片内部的局部几何结构仍然被保留下来。比如水平相邻 token 的相对位置是 (0,0,1)，垂直相邻 token 的相对位置是 (0,1,0)。

图片token的position id被整体平移到文本之后，避免和前面的文本token发生位置重叠。

图片块结束后，后续文本 token 继续沿对角线方向排列。同样为了不发生位置重叠，需要加入offset，即从当前视觉块最大 position id加1作为起始。

当然还有很多别的方案，此处不再赘述，核心思想都类似。

小结

本文相对系统的介绍了多模态位置编码的设计。如果疏漏错误之处，欢迎指出～

Step by Step: Understanding ROPE

Tue, 23 Dec 2025 00:00:00 GMT

paper: https://arxiv.org/abs/2104.09864

ROPE是目前不论LLM还是VLLM常用的位置编码。本文将step by step梳理个人对ROPE的理解，如有不当之处，敬请指出。

Attention计算如下，假定当前序列长度为

对于Attention而言，其score的计算依赖各个位置query，key向量的点积。不妨考虑query的和key的位置的向量，记作

原始 不包含任何位置信息，因此需要引入位置相关的映射，使点积结果依赖于相对位置。

具体来说：

我们期望找到一个映射

其输入为:1) 当前位置的向量,2) 位置信息。其输出为添加了位置信息的向量，向量经过这个映射后，点乘能够满足：

如何设计这个映射，使得向量的点积结果依赖相对位置？加法倒是容易，可以引入指数函数

通过上面的运算，我们能够实现：添加了绝对位置的向量相乘后具有累积位置的信息。这里离目标已经很近了。

核心诉求：如何让上式的变为

这里我们不禁想到一个结论：两个复向量的点乘会引入共轭，这个共轭能带来我们想要的负号。

在量子力学、信号处理等领域中，为了保证两个复向量的点乘结果是实数，复向量点乘的定义如下：

，是的共轭复数。 PS：其共轭复数

回到上式，我们引入复数将绝对位置信息乘到复数的幅角中，此时,根据上面的复向量的运算规则：

上面的式子已经实现绝对位置编码引入相对位置信息。这里离ROPE最终的形式已经很近了。

对上式进一步改进，已知不妨将视作个复向量，此时上式可写为：

上式已经是ROPE的最终形式，之所以叫ROPE，是因为根据复数的乘法几何意义

对每一个元素可以理解对进行旋转。

回顾一下复数的几种表示方法

因此

上式的形式做的逐元素乘法，对于可以把结果都拼接起来

同理可得

检查一下

可见，两个引入绝对位置编码的向量，点积后包含相对位置信息。

注意，上面的形式需要的通道数能够被整除

one more thing

上述的推导，我们人为将以自上而下的顺序，间隔步长为2，group成组的向量，将其视为复数的向量形式，并分配旋转矩阵(即)。我们当然可以更改这个group的规则，目前实践中用的比较多的是将的向量group在一起，这样代码实现和效率上有一定的优势，此时

是逐元素乘法，同时更改通道的顺序，

点乘后的计算等价

通常源码中都用以上实现方式。

ROPE的二维形式

目标变为，找到一个使得

如果直接类比1D的ROPE构造：

他只能建立，不是我们想要的。

通过前文我们找到一个map 使得

核心思路，一半通道编码的位置，另一半编码位置。本质上在两个正交的子空间上分别做1D ROPE。

注意，上面的形式需要的通道数能够被整除

当然ROPE还有很多变体，如3D-ROPE，partial ROPE等。理解了本质，再类比理解就容易了。

实例分割新范式：Falcon Perception技术剖析

Fri, 29 May 2026 16:00:00 GMT

type

Post

status

Published

date

May 30, 2026

slug

falcon_perception

summary

这篇文章讨论的是一个很有意思的问题：dense perception任务是否一定需要encoder-decoder结构？目前开放词汇检测、promptable segmentation、OCR这类任务，常见做法大概是： • 先用一个vision backbone提取图像features • 单独的 decoder 或 late-fusion module 将这些 features 转换为任务输出虽然上面的范式在业内已经验证了有效性，但它的问题也很明显。模块越多，视觉语言的交互较晚，并且系统的复杂度也会更高。针对dense perception的任务特点，作者提出以下关键设计：1)Unified Dense Transformer with Hybrid Attention Mask; 2)Chain-of-Perception; 3)Specialized heads

1 Motivation

这篇文章讨论的是一个很有意思的问题：dense perception任务是否一定需要encoder-decoder结构？

目前开放词汇检测、promptable segmentation、OCR这类任务，常见做法大概是：

先用一个vision backbone提取图像features

单独的 decoder 或 late-fusion module 将这些 features 转换为任务输出

虽然上面的范式在业内已经验证了有效性，但它的问题也很明显。模块越多，视觉语言的交互较晚，并且系统的复杂度也会更高。

针对dense perception的任务特点，作者提出以下关键设计：1)Unified Dense Transformer with Hybrid Attention Mask; 2)Chain-of-Perception; 3)Specialized heads

下面具体来看。

2 Method

2.1 问题定义（Chain-of-Perception）

对于dense perception的任务而言，一张图片的实例可能在0到几百不等，如何设计输出接口即支持variable-length instances又不会让decoding的代价过高是关键。

Falcon-Perception采用自回归的架构做variable-length instances的生成。如果直接把bbox、polygon或者mask都离散成普通token，每个实例都会带来很长的输出序列，实例一多decoding代价就会迅速上升。为了规避这个问题，Falcon-Perception设计了一种Chain-of-Perception的生成方法。

具体来说：假定自回归模型输入的prefix如：

其输出的序列

从上面不难看出，在segmentation路径下，每一个实例都由： 3个触发token构成。

代表实例的中心点坐标

代表实例的宽高

代表实例mask query的生成位置

通过这个方法，模型没有把真实mask逐点写进文本序列，而是把一个实例的输出接口压缩为几个结构化token；连续坐标和高分辨率mask再交给specialized heads解码。并且 -> -> 这个生成顺序要求模型先解决spatial ambiguity，再解决pixel-level details，是一个coarse-to-fine的curriculum过程，训练相对稳定。

从解码出实例真实的mask需要额外的special head，在后面的章节详细介绍。

2.2 模型架构

模型架构上，作者放弃了额外引入encoder，而是类似Fuyu8B的做法，直接将图片patch化与文本拼接后，送入到单一的transformer中。这里有几点设计细节需要注意：

2.2.1 输入准备

以一个具体的例子理解

<|image|>是图片token的占位符。

给定输入图片，先patch化，再经过linear层后，放到占位处，与文本token进行拼接 $$ X=[\underbrace{v_{1},\ldots,v_{N}}{\mathrm{Visual~Embeddings}},\underbrace{t{1},\ldots,t_{L}}_{\mathrm{Text~Embeddings}}] $$

注1: 对于常规的多模态模型会将visual embedding部分送入到encoder，将encoder的输出与text embedding进行拼接，falcon perception省略了这个过程。

注2: 图片token之间会被表征图片起始、终止的token包裹。并沿用了Dino-v2的register token，以提升patch token聚合信息的质量。

2.2.2 hybrid attention mask

falcon-perception的hybrid attention mask可以理解为一种image-prefix bidirectional attention + 后续causal attention。具体而言：

图片token之间设置为bidirectional attention，文本和task位置为causal attention；文本/task token可以看到完整的image prefix

2.2.3 3D RoPE

falcon-perception的3D-RoPE与Qwen系列的MRoPE实现不同。它将q，k的通道进行对半切分，一半用于编码空间位置信息的2D-RoPE，另一半用于序列/时序信息的1D-RoPE编码。这里有几个小细节：

时序维度，image block内部基本共享同一个temporal ID，后续文本token再继续递增。

空间维度，只有真实image patch会被赋予2D空间坐标；文本和其它非空间token的2D位置为0。

2.3 Special Head

在2.1，2.2节中，我们已经理解了falcon-perception如何定义dense-perception问题，以及它如何把图像patch、文本prompt和任务token放进同一个Transformer。本小节补上最后一块拼图：模型预测出的special token ，到底如何转化成bbox和mask。

这里有一个关键点：LM head只负责预测“下一个token是什么”。但、和并不是普通文本内容，它们更像是调用不同head的触发器。

代码中对应的模块集中在：

2.3.1 Coord / Size Head

很多自回归视觉模型会把坐标当成普通token集成到词表中。比如定义一组0到999的token表示坐标：

这样就可以把检测、分割问题转化为token预测问题，再通过后处理解析坐标。

上述方案实现简单，也在很多模型上得到了验证，例如检测领域的Pix2Seq，以及一些OCR/文档解析模型中的location token设计（如MinerU）。但它有几个明显弊端：

坐标token的embedding相对离散，坐标的空间位置关系只能被隐式学习。

坐标精度受bin数量限制，bin太少会粗糙，bin太多又会增加词表或序列建模难度。

如果把mask边界也转成token序列，dense output会非常长，不适合高实例数场景。

Falcon Perception采用的是另一种折中方案：序列里仍然只生成和这两个special token，但真实的连续坐标由额外的bbox head预测。

模型初始化时可以看到四个相关模块：代码位置：https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/model.py#L317

这四个模块分成两组：

encoder：把已经得到的连续坐标/尺寸编码回Transformer输入流中。

decoder：从Transformer hidden state中预测连续坐标/尺寸。

Fourier Encoder：把连续值注入token embedding

训练时，target序列里有和位置，但模型不能只看到一个静态special token embedding。否则后续的和并不知道前一步真实预测/标注的中心点在哪里。换句话说，常规的做法对应的是这个token得embedding，但无法提现示例的信息，因此需要用真实的坐标信息的embedding来对它进行替换。也就是说，可以视作是一个placeholder。

那么，如何构建这个坐标信息的embedding呢？

坐标信息的编码：

Falcon Perception采用Fourier feature mapping的方式构建坐标的embedding （Nerf中的做法），核心思路是用连续空间的频率模式来表示坐标。

x为坐标信息

B为随机频率矩阵

这个思路将坐标学习转化为了频率模式匹配问题。

代码中对应 https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/model.py#L34：

坐标信息解码：

推理时，模型先通过LM head采样下一个token：

如果采样出的token是或，则调用：

内部会将当前hidden state送入两个MLP decoder：

https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/model.py#L705

坐标x, y按归一化bin预测。尺寸h, w则不是线性bin，而是经过process_sizes映射到log2尺度：

这样做比较合理，因为目标尺寸天然是跨尺度分布的：小目标之间的差异需要更细粒度，大目标则更关注相对比例。

得到xy或hw后，它们会在下一步forward时重新编码回输入序列：

完整链路：

Step1: LM head预测

Step2: 将hidden state输入到coord decoder中，输出中心点

Step3: Fourier encoder将中心点编码为embedding，写入下一步输入

Step4: LM head预测

Step5: 将hidden state输入到size decoder中，输出宽高

Step6: Fourier encoder将宽高编码为embedding，写入下一步输入

Step7: LM head预测

2.3.2 Segmentation Head

也可以理解为placeholder。需要引入额外的head提取真实的mask。只用单个token的hidden state来生成high-resolution的mask是比较难的。Falcon Perception采用了一种dot product的方式来生成mask。

具体来说，在prefill阶段，将image patch token位置的所有hidden state与原图送入到一个模型中，获得一个feature map V* ∈ R^{H×W×d} （AnyUP这篇paper的做法）。代码位置：https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/batch_inference.py#L248

生成阶段中，若当前生成的token为, 随后对其hidden state进行linear transform后与上述feature map做点乘，从而得到mask，代码位置：https://github.com/tiiuae/Falcon-Perception/blob/main/falcon_perception/aux_output.py#L210

相比Mask2Former需要用复杂的 Hungarian matching 来解决 instance ambiguity问题。Falcon Perception设计的链路的指代是清晰的。

2.4 如何训练

2.4.1 训练目标概览

理解完上面的结构后，训练逻辑其实就比较自然了：Falcon Perception不是把dense perception完全变成普通语言建模，而是采用“自回归token + speaial head解码”的混合建模。

换句话说，Transformer主干按next-token prediction训练；但当序列走到、、这些位置时，模型还会额外接收对应的坐标、尺寸和mask监督。

目标函数有下面几部分构成

其中：

：普通token的cross entropy，包括文本token和、、`这些special token的生成。

：坐标head的cross entropy。代码中coord_decoder输出2 x Nbins个logits，默认每个维度2048个bin。

：尺寸head的cross entropy。注意：尺寸不是线性空间，而是log2尺度上的bin

：mask监督，使用focal loss + dice loss。

：主要包括蒸馏/特征对齐相关loss，比如Gram feature alignment。

可见，坐标和尺寸虽然最终是连续值，但训练时仍然转成bin分类问题；mask则没有被转成token序列，而是用像素级loss直接监督。这个设计避免了把高维dense output硬塞进语言序列。

2.4.2 更多的训练细节

（一）multi-teacher distillation

teacher模型有2个：DINOv3-ViT-H和SigLIP2-So400m

为了训练好early-fusion perception models，作者使用 multi-teacher distillation pipeline 初始化模型权重。其动机是利用不同 vision backbones 的优势。

论文对这一步没有公布太多的细节。有几点是明确的：

这个蒸馏不是简单的logits蒸馏。

蒸馏的核心目的之一是为了让模型能够继承DINOv3-ViT-H强大的提取local feature的能力，这对segmentation很重要。

目的之二期望继承SigLIP-So400m图文embedding对齐的特性，便于 open-vocabulary expression understanding。

蒸馏的数据： OpenLVD200m , 900 万 high-resolution scraped images,1100 万 SAM dataset images, 500 万 documents。

训练流程：

multi-resolution stage，最高到 1024×1024 pixels，约 200k steps
Muon为优化器
4*8-A100 GPU nodes，采用sequence packing
local batch size 为 6，最大 sequence length 为 4096 tokens

（二）优化器的选择

Falcon Perception对Muon和AdamW这两个优化器做了消融实验。在perception这个场景下，Moun优化器有明显的优势

（三）masking order

当有多个实例时，该如何设计target sequence的顺序呢？（本质上就是：一个包含多实例的图片，有多条合理的轨迹）。作者比较了random、按照size从大到小、按照raster order（自上而下、自左到右）。作者发现raster order的方式效果更好（直觉上这个方法先验的约束了轨迹，限制了模型需要拟合的轨迹空间）。

更多的细节请参考原论文。

3 结果

结果部分我觉得主要看三个点。

第一，Falcon Perception在SA-Co上mask quality比较强，Macro-F1达到68.0，高于SAM3的62.3，但 presence calibration 明显弱于 SAM3，例如 Average MCC 是 0.64 vs 0.82。

第二，在PBench(论文提出的benchmark)上优势明显。PBench更强调attribute、OCR、spatial relation和dense场景，这些任务都需要更强的视觉-语言-空间联合建模。论文中Falcon Perception平均57.0，SAM3为44.4；Dense场景下是72.6 vs 58.4。

第三，sampling对结果提升很大（类似语言模型中do-sample的做法，同个数据多跑几次，非贪心采样）。SA-Co上cgF1可以从baseline的34.7提升到Pass@8的54.3。这说明模型分布里其实包含不少正确答案，只是greedy decoding未必总能选中。

作者额外研究了将Falcon-Perception架构应用到OCR领域中，提出了Falcon-OCR-0.3B。笔者实测下来，效果还有提升空间，可能是训练的数据规模不够大。

4 小结

本文系统梳理了Falcon-Perception的技术原理。整体上，论文中的工作量是非常扎实的，不论从代码上、数据上还是实验上，值得一读。

RL学习小结 (006)：PPO原理剖析

Tue, 12 May 2026 16:00:00 GMT

前置阅读：http://myhz0606.com/article/trpo

1 前言

回顾一下TRPO的链路：传统的策略梯度，由于目标函数的非凸性，无法很好的确定更新的步长。TRPO的核心目标是：沿着性能提升的方向，走最大的一步。为此TRPO算法先从性能提升引理出发，结合新旧状态分布近似、importance sampling技巧改写了优化目标：

并证明了改写的优化目标是原始优化目标的下界。

通过优化能保证单调不减。

但实践中，上面优雅的理论式子面临两个问题：

单个iteration只有有限条轨迹，难以遍历所有的状态找到。

惩罚因子过大，使得KL divergence项的梯度过大，模型更新过于保守。

为此TRPO做了2个工程上的优化：

利用拉格朗日对偶性，将惩罚项转为约束。

用average KL而非max。具体而言，我们不要求，而是要求。

由此可得到TRPO的工程化后的优化目标

等同于优化

⚠️注意符号区分：是advantage function，是trust region radius

最后通过对目标函数、约束条件分别进行泰勒一阶近似和二阶近似后，将一个复杂的非线性优化问题转化为一个经典的二次约束线性优化问题，用拉格朗日乘子法求得解析解，最后用共轭梯度法进行求解。由于前面的一些工程trick和近似处理在一定程度上破坏了单调不减的理论保证，于是结合了回溯的linear search操作。

总体而言：TRPO数学理论上非常优雅，它系统的解决了强化学习中策略更新的方向和步长问题。但从上面的简短回顾不难看出，TRPO算法的工程实现还是偏于繁杂：每一次策略更新都需进行CG算法得到更新方向，再用linear search确定更新步长。

这就是PPO提出核心的motivation：在尽可能的满足策略性能单调不减下，解决TRPO计算复杂度过高的问题。

2 PPO算法

作者给出了PPO-Penalty和PPO-CLIP两种变体。

2.1 PPO-Penalty

从TRPO的推导我们得出通过优化下式能保证新的策略性能单调不减

PPO沿用了TRPO用averge KL来代替max KL得工程trick,但没有沿用拉格朗日对偶性将惩罚转为约束。作者是引入了一个超参数来取代的惩罚系数。

由此，可得PPO-Penalty的目标函数

超参数的定义是个难题，作者采取了一种动态修正的策略，首先令

若，说明策略更新较为保证，KL散度的期望低于预设值，为了加快学习，可以减少惩罚力度，

若，说明策略变化太剧烈，KL散度的期望超过安全区。为了稳定学习，增大惩罚力度，

当，说明新旧策略的KL散度在安全区，无需调整。

2.2 PPO-clip

PPO-CLIP是PPO算法的另一种变体（也是主流的变体），它采用悲观估计（lower bound optimization）的策略来定义tust-region。其形式为：

分几种情况讨论上述目标函数的直觉意义

的符号	has gradient?	直觉解释
	True	在目标区间内，说明新旧策略表现接近，正常优化。
	True	在目标区间内，说明新旧策略表现接近，正常优化。
	True	。说明这是一个能带来正向收益的好动作，但新策略居然不愿意接受这个动作（和就策略的比值小于）,因此需要优化新策略。
	False	坏动作，新策略接受的概率较大幅度低于旧策略，说明在这个场景下新策略已经优化的足够好，无需再优化了。
	False	好动作，新策略接受的概率较大幅度高于旧策略，说明在这个场景下新策略已经优化的足够好，无需再优化了。
	True	。说明这是一个负向收益的动作，应当抑制。但新策略确非常倾向接受这个动作(和旧策略的比值大于)，因此需要优化新策略。

虽然相比PPO-Penalty,PPO-CLIP没有严格的理论推导，但在实践中，PPO-CLIP不论从性能还是效果都有优势。

小结

本文从PPO提出的motivation出发，系统介绍了PPO-Penalty和PPO-CLIP两种变体。总体来说，PPO 用更简单的方式近似TRPO的trust region约束，在保证策略更新稳定性的同时，大幅降低计算复杂度。由于笔者水平有限，若有不当之处，欢迎指出～

《MinerU2.5-Pro》技术小结

Tue, 14 Apr 2026 16:00:00 GMT

1. 前言

MinerU最近发布了一个更新的Pro模型。在模型架构不变的约束下，通过优化数据工程与训练策略，实现了显著的精度提升。

论文的核心动机在于：不同架构的SOTA的模型在面临困难样本（hard samples）时，往往呈现出相似的错误模式。这一现象表明，OCR 性能的瓶颈可能并不主要来自模型架构本身，而更可能受限于训练数据的质量与构成。MinerU在OmniDocbench中新增了hard sample，用于更有针对性的评估对于此类复杂场景的模型表现。

模型仓库：https://huggingface.co/opendatalab/MinerU2.5-Pro-2604-1.2B

数据集地址：https://huggingface.co/datasets/opendatalab/OmniDocBench

2. 数据工程

MinerU的数据工程主要分为4个阶段

Diversity-and-Difficulty-Aware Sampling

Cross-Model Consistency Verification

Judge-and-Refine pipeline

Targeted Expert Annotation

2.1 Diversity-and-Difficulty-Aware Sampling (DDAS)

核心目标：解决训练数据长尾分布的问题。具体而言，通常情况下，数据池的学术论文，单栏报告的占比较大，但嵌套表格，复杂公式排版，多栏排版的占比较低。这导致模型对此类低频的场景识别精度较差。下面看具体的做法。

stage1 Page-level sampling：

提取所有PDF page的embedding（ViT base），并进行聚类；

对每个cluster进行均匀采样，获得初始的侯选集（保证分布覆盖）；

对初始侯选集的每一个page通过CMCV获得复杂度标签；

用复杂度标签的分布情况赋予cluster采样权重：

easy sample占比高→降权
difficulty分布多样→提权
invalid多（空白页、非目标语言）→ 过滤

根据调整后的cluster权重，从原始数据池进行加权resample，扩展后选集；

并补充计算所有sample的复杂度标签。

stage2 Element-level sampling：

将stage1得到的页面候选集用MinerU2.5和paddleOCR VL进行layout检测，获得math/table/text的block-level的数据；

分别对math/table/text进行聚类；

执行block-level的CMCV获得element的difficulty的标签。

stage3 Sampling： 通过stage1，stage2我们得到layout/table/text/math的数据，每一个数据点包含cluster-difficulty两种粒度的信息，现在对他们在cluster-difficulty的联合空间进行采样。

在diversity维度（解决长尾问题）：

大cluster进行下采样；
小cluster进行上采样；

在difficulty维度（提升训练信号的强度）

提升medium/hard数据的权重

最终获得task-balanced，high diversity，high informativeness的训练数据。

2.2 Cross-Model Consistency Verification （CMCV）

DDAS策略依赖样本的复杂度，那么如何得到这个复杂度呢？这是CMCV回答的问题。

在过去，MinerU2.5的IMIC策略和paddle VL-1.5的UACS策略通过对单模型多次推理的一致性来度量这个复杂度。这个方法存在局限性：

这个复杂度主要反应模型的“盲点”，而非通用的复杂度

对于模型盲点，我们可以通过多模型voting的方法来进行预标注。单对于通用的复杂case，可能所有模型的表现都不好，可能需要额外引入人工的干涉。为了更好的刻画复杂度，作者引入CMCV的评估策略，核心思想是，通过多模型的预测差异性来度量这个复杂度

若多个模型对同一个case的预测结果相近，说明是easy case。

若多个模型对同一个case的预测结果不相近，分歧越大，说明复杂度越高。

💡作者采用MinerU2.5， PaddleOCR-VL，Qwen3-VL-30B作为解析模型。
公式用CDM，表格用TEDS，文本用edit distance作为结果是否相近的度量

作者划分了3个复杂度

Easy： MinerU2.5的结果至少与1个外部模型的结果相近。标注为easy的数据，预测的结果可以直接视作label。

Medium：MinerU2.5与外部模型的结果都不相近，外部模型的结果相近。可以将外部模型的标注作为此类case的伪标签。

Hard：所有模型的结果都不相近。这类数据的价值非常高，但标注成本高。对此类case的处理方式需要Judge-and-Refine correction和外部专家的标注。

2.3 Judge-and-Refine Annotation Pipeline

这个阶段主要为了解决复杂度为hard数据的自动标注问题，核心思想是render-then-verify。具体做法：

将识别结果渲染成图片；

将原始图片和渲染的图片送入到Qwen3-VL-235B中进行judge and refine；（这样做的动机在于若将图和预测序列送入到模型，会存在跨模态信息的gap，都转为视觉空间有助于模型捕获差异）

重复上述两个过程，直至完成停止条件。对于Judge-and-Refine也无法修复的case转入到2.4专家标注。

2.4 Targeted Expert Annotation

在经过 DDAS 采样、CMCV 难度分层以及 Judge-and-Refine 修正之后，Easy 和 Medium 样本已经具备可靠标注，但仍有一部分 Hard 样本超出了自动修正能力。针对这些样本，我们引入专家人工标注以保证最终质量。

标注预算的分配基于 Judge-and-Refine 的中间输出结果进行优先级排序：

Judge 置信度高但 Refine 修正不确定的样本优先级最高。此类样本的错误位置已由 Judge 定位，标注人员只需进行局部修正，从而最大化标注效率。

优先覆盖当前模型最薄弱的子任务类别。这样可以在有限标注预算下最大化对整体性能的边际提升

人工标注采用“AI 预标注 + 专家审核与修正”的工作流程。在预标注阶段使用 Gemini 3 Pro。此外，还通过自动化质量评估工具进一步保证标注一致性。

最终，该数据引擎产出一个分层数据集：

约65.5M条 Easy 和 Medium 样本，通过 CMCV 自动标注，用于 Stage 1 预训练；

19.2 万条专家标注的 Hard 样本，用于 Stage 2 微调以及 Stage 3 的 GRPO 对齐。

3. 训练策略

采用3阶段渐进式训练范式。模型架构依旧沿用MinerU2.5:

encoder: NaViT 675M

decoder: Qwen2-0.5B 初始权重迁移MinerU2.5。具体的训练配置见下表：

有几点需要注意的：

65.5M训练数据的分布如下表。

stage2中多了一个3.9M得数据集。这是从65.5M条数据中采样得到。避免只在少量样本微调导致灾难性遗忘（catastrophic forgetting）。采样的规则设计中保证了hard sample的占比，一次强化模型在困难场景的表现

GRPO的reward设计与评估指标一致。即文本识别的reward为编辑距离；公式识别的reward为CDM；表格为TEDS；layout为IoU。

task	count
text recognition	21M
layout analysis	14M
formula recognition	13M
table recognition	11.5M
Other (chats, etc.)	6M

RL学习小结 (001)：基本概念、贝尔曼方程

Sat, 30 Aug 2025 16:00:00 GMT

参考教材： 1. 《Reinforcement Learning: An Introduction》 2. 《Mathematical Foundations of Reinforcement Learning

1 强化学习基本概念

1.1 术语定义

在强化学习中，可以将学习过程看作智能体（agent）与环境（environment）的交互过程。智能体能够感知环境状态、做出决策、执行动作，从而影响环境并获得奖励。为了更好地描述这一过程，通常定义以下基本概念：

状态（State, S）：表示环境的随机变量。某个具体的状态记为小写，其中是状态空间。

动作（Action, A）：表示智能体可采取的动作的随机变量。具体动作记为，其中是动作空间。

状态转移（State Transition）：当智能体在时刻处于状态并采取动作后，环境转移到新的状态，记为

策略（Policy, ）：描述智能体的决策规则，是一个条件概率分布, 它表示在状态下选择动作的概率：

奖励（Reward, ）：环境在状态下对智能体采取动作所反馈的随机变量。奖励的一个取值记为，是奖励空间，常写作。

轨迹（Trajectory, τ）：智能体与环境交互所产生的状态-动作-奖励序列，例如：

回报（Return, Gt）：从时刻 t 开始累积的奖励，用于衡量长期收益。

即时奖励（Immediate Reward）：当前时刻的奖励。

未来奖励（Future Reward）：从未来时刻累积的奖励。

折扣回报（Discounted Return）：为了避免无限轨迹回报发散，并调节对近期与远期奖励的重视程度，引入折扣因子：

回合（Episode）：从初始状态到终止状态的完整过程，即一条有限长度的轨迹。

Episodic Task（回合式任务）：具有明确起点和终点。
Continuing Task（持续性任务）：没有终止状态，交互过程无限持续。

2 马尔可夫决策过程

通常我们会用马尔可夫决策过程(markov decision process （MDP）)来来描述强化学习。MDP是描述随机系统的一般框架。它由以下关键要素组成

集合（Sets）

状态空间集合。所有状态的集合
动作空间集合。与每一个状态关联的动作集合，是随机变量的一个值

奖励空间集合。与每一个关联的所有奖励集合

模型（model）

状态转移概率，
奖励概率，

策略（policy）：在状态下，agent采取动作a的概率

马尔可夫性质(markov property)：下一个状态和奖励仅依赖当前时刻的状态和动作，而与之前的状态和动作无关

马尔可夫过程与马尔可夫决策过程有什么联系？当马尔可夫决策过程中的策略确定了，此时的马尔可夫决策过程就退化成了马尔科夫奖励过程，如果奖励也去掉，那么就进一步退化为马尔可夫过程。

3 贝尔曼方程（Bellman Equation）

在强化学习中，马尔可夫决策过程（MDP）是建模智能体与环境交互的核心数学模型，而贝尔曼方程（Bellman Equation）是求解 MDP 的关键工具。强化学习的核心目标通过智能体(agent)与环境（environment）的交互来学习一个最优的策略（policy）使得累积回报（return）最大化。实际中，由于状态转移的随机性，从一个状态出发，存在多条轨迹，每条轨迹的回报不同，因此通常我们的优化目标是最大化期望回报。

3.1 状态值函数与贝尔曼方程

定义在策略下，从状态状态值函数开始的期望累积回报为状态值函数（state-value function）,也简称为状态值（state value）。

⚠️式子中的是随机变量，是随机变量的值。

最优策略可以定义为使状态值函数最大的策略

折扣回报（Discounted Return）定义为：

是即时奖励 immediate reward

未来奖励 future reward

利用折扣回报定义，状态值函数可以拆分为即时奖励和未来回报的期望：

先看第一项即时奖励期望

在看第二项未来回报的期望

将结果带入原式中，我们得到值函数形式如下，此时的值函数方程也称为贝尔曼方程。

贝尔曼方程描述了不同状态值之间的关系。式中代表系统模型。通过联立所有状态值我们可以求解出贝尔曼方程所有状态的值。

3.2 贝尔曼方程的联合概率形式

已知

代入初始的贝尔曼方程中

3.3贝尔曼方程的向量形式

前面提到，对于每一个状态,我们都可以写一个值函数（贝尔曼方程），假定状态数为，则有联立形式：

为了方便以向量化定义

此时的贝尔曼方程可以写做

对于每一个状态的联立形式

用矩阵的形式表达，上面的联立形式可以写做

即

根据上面贝尔曼方程的向量形式（本质上是一个线性方程组），我们有2种方法可以对其进行求解

3.3.1 向量形式贝尔曼方程的求解

3.3.1.1 解析解

上面的解析解有几个性质

可逆。（根据Gershgorin circle theorem可以证明满足,本文不做深究）

. （因为, ,根据矩阵逆的级数展开可以证明）

对于任何向量有, 若有

3.3.1.2 数值解

根据下面的迭代式可以迭代求解

随机初始一个,通过上面的迭代式可以求出真实的状态值,即

为什么上面的迭代式能保证能够收敛到真实值，证明：

定义误差,只需证明将误差代入迭代式中

3.4 动作值函数的贝尔曼方程

动作值函数（Action Value Function, 简称动作值）也是强化学习一个非常重要的概念，其定义为

它表示在状态下采取动作后，沿着策略执行，所能获得的期望回报。

3.4.1 动作值与状态值的关系

状态值函数等于该状态下所有动作值的加权平均，其中权重是策略。

3.4.2 动作值的贝尔曼方程

根据式(8)和式（18），可以写出动作值的贝尔曼方程

小结

本文系统介绍了强化学习的核心概念，包括状态、动作、策略、奖励和回报等基本术语；随后展示了如何使用马尔可夫决策过程（MDP）对强化学习问题进行数学建模；最后推导了状态值函数和动作值函数的贝尔曼方程。

如有理解不当、笔误之处，敬请指出。非常感谢～

ㅤ	info
paper	https://arxiv.org/abs/2603.27365
code	https://github.com/tiiuae/Falcon-Perception
org	TII Falcon Vision Team
model	https://huggingface.co/tiiuae/Falcon-Perception
benchmark	https://huggingface.co/datasets/tiiuae/PBench

莫叶何竹🍀

多模态模型如何处理任意分辨率输入：位置编码设计

1 前言

2 多模态输入处理链路

3 多模态位置编码设计

3.1 Vanilla 1D RoPE

3.2 从1D-RoPE到3D RoPE

3.2.1 3D RoPE算法原理

3.2.2 如何分配频率

3.2.3 如何分配3D-Position ID

小结

Step by Step: Understanding ROPE

实例分割新范式：Falcon Perception技术剖析

1 Motivation

2 Method

2.1 问题定义（Chain-of-Perception）

2.2 模型架构

2.2.1 输入准备

2.2.2 hybrid attention mask

2.2.3 3D RoPE

2.3 Special Head

2.3.1 Coord / Size Head

Fourier Encoder：把连续值注入token embedding

2.3.2 Segmentation Head

2.4 如何训练

2.4.1 训练目标概览

2.4.2 更多的训练细节

3 结果

4 小结

RL学习小结 (006)：PPO原理剖析

1 前言

2 PPO算法

2.1 PPO-Penalty

2.2 PPO-clip

小结

《MinerU2.5-Pro》 技术小结

1. 前言

2. 数据工程

2.1 Diversity-and-Difficulty-Aware Sampling (DDAS)

2.2 Cross-Model Consistency Verification （CMCV）

2.3 Judge-and-Refine Annotation Pipeline

2.4 Targeted Expert Annotation

3. 训练策略

RL学习小结 (001)： 基本概念、贝尔曼方程

1 强化学习基本概念

1.1 术语定义

2 马尔可夫决策过程

3 贝尔曼方程（Bellman Equation）

3.1 状态值函数与贝尔曼方程

3.2 贝尔曼方程的联合概率形式

3.3贝尔曼方程的向量形式

3.3.1 向量形式贝尔曼方程的求解

3.4 动作值函数的贝尔曼方程

3.4.1 动作值与状态值的关系

3.4.2 动作值的贝尔曼方程

小结

《MinerU2.5-Pro》技术小结

RL学习小结 (001)：基本概念、贝尔曼方程