多模态：图片怎么被读懂

多模态是加装上去的，不是天生的。加装的方式是把图切成小块、编成向量，接到文字序列后面。所有能力和所有毛病都由这个方式决定。

你会遇到的现象

图是怎么进去的

流程是这样的：图片先被缩放到模型能接受的尺寸，然后切成一格一格的小块（patch），每一块交给一个视觉编码器，变成一串向量。这些向量再经过一层映射，变成和文字 token 同一个空间里的东西，接到文字序列里一起进模型。

关键在最后一步：接进去之后，模型不再区分哪些来自文字、哪些来自图片。它照样是在那条序列上一个一个往下猜 token。你问它图里有什么，它是在「接话茬」，只不过接话的依据里多了几百个来自图片的向量。

这也就解释了几件事。第一，它读图和读字用的是同一套推理能力，所以文字理解上的毛病——会编、会记串、会顺着你说——读图时一个不少。第二，图片是要占上下文的，占的还不少。第三，它看到的细节上限，在缩放和切块那一步就已经定死了，后面再怎么问都补不回来。

前两行决定了一件事：不要让它做「基于像素的判断」。要它定位元素，靠的应该是你给的结构化信息（比如页面的 DOM 或元素清单），不是让它盯着截图看。

反过来，它做得好的也很清楚：看整体、看关系、看语义。这张图在讲什么、布局有没有明显问题、两版设计的差别在哪、图表反映的趋势是什么——这些不依赖像素级精度的任务，它相当可靠。

它做得好的是看整体、看关系、看语义——这张图在讲什么、布局有没有问题、两版设计差在哪。凡是需要「基于像素的判断」的，都该换个做法。

裁剪，不要缩放。你关心哪一块就把哪一块裁出来单独发。整屏截图会被压得看不清细节，而裁出来的局部按原尺寸进去，小字就能读了。这一条是所有技巧里最有效的。
关键信息用文字补一遍。图里的数字、字段名、报错内容，能贴文字就贴文字。图片是给它看结构和布局的，不是给它读字的。
一次一张，别铺一堆。多张图会互相干扰，而且每张都在吃上下文。要对比两张，明确说清楚哪张是 A、哪张是 B，再问具体的差异点。
问具体的问题。「这张图有什么问题」得到的是一堆泛泛而谈。「这张图里的主按钮和次按钮，视觉权重是不是反了」才能得到有用的回答。
算上图片的成本。一张图通常折算成几百到上千个 token，高分辨率模式下更多。做多图场景之前先估一遍账，别等上线才发现贵。

最后一条判断给做产品的人：如果你的功能对精度有硬要求，别把识图这一步交给通用模型。读发票、认车牌、扫条码，这些有专门的 OCR 和检测模型，又准又便宜。通用多模态模型的位置是理解和串联，是在你把结构化信息取出来之后，帮你判断这些信息意味着什么。