AI 简明手册为什么有的 AI 看不懂图片？
定义
有的 AI 看不懂图片，是因为语言模型天生只处理文字。能看图的模型额外装了视觉编码器，先把图片转成类似文字的表示再处理，这类模型叫多模态模型。
说明
装眼睛的过程分两步：视觉编码器把图片切成许多小块，每块转译成模型可处理的表示；转译完成后，这些表示就像一段特殊文字，模型照常接话茬。看图和画图是两套独立能力，能看图的模型不一定会生成图片。
不是所有模型都装眼睛，因为训练看图能力需要海量图配文数据，成本高，模型也会更大更贵。纯文本模型在不需要看图的场景中反而更快、更便宜。
你用的应用如果能看也能画，通常是在幕后同时接入了多个不同模型，而不是一个模型具备所有能力。
跟着一个例子走
上传一张发票截图后发生了什么
用户问“这张发票是多少钱”，并附上一张图片。产品是否支持视觉输入，会直接改变请求链路。
- 纯文本模型
如果链路只把一段“用户上传了图片”的占位文字交给模型，模型看不到像素，只能请用户转述内容，不能可靠读出金额。
- 多模态理解模型
视觉组件把图片转成模型可处理的表示，再与问题一起进入上下文。模型据此定位金额区域并生成回答，但模糊、遮挡和版式仍可能造成识别错误。
- 图像生成模型
若用户改为“画一张发票示意图”，产品通常要调用另一条生成管线。会读图并不自动意味着会从零生成图片。
边界与误区
纯文本模型为什么收到图片会要求用文字描述： 因为它没有视觉编码器，无法把图片转成自己能处理的形式，只能处理文字输入。
会看图的模型一定会画画吗： 不一定。看图是视觉理解能力，画图是图像生成能力，需要不同的模型或组件。
为什么厂商不给所有模型都装视觉能力： 训练成本高，模型体积和运行成本增加，而很多场景用不到图片理解。