多模态Embedding前瞻:图像与文本的语义对齐
一个做工业配件的销售讲过一件事。客户在车间拍了一张照片,图里是一个磨损的传动部件,然后把照片丢给AI助手,问"这个型号还能用吗,哪里能买到"。AI认出了部件类型,给出了选型建议,还顺手推荐了两家供应商。
这个场景在两年前还做不到。现在它已经是很多AI产品的常规能力。对企业来说,这意味着一个新的入口正在形成:客户不再只用文字描述需求,他们会直接给一张图、一段视频、一张截图。如果你的品牌只在文字语料里存在,在这个入口上就是隐身的。
更麻烦的是,企业的视觉资产大多处于"不可读"状态。产品图没有说明,参数表是图片格式,资质证书是扫描件,工厂照片只有图没有上下文。人看得懂,模型读不出来。多模态Embedding要解决的,就是让图像和文字在同一个语义空间里对齐,从而让这些资产变成可检索、可引用的信息。

一、提问方式正在从文字扩展到图像
过去我们理解搜索,默认输入是文字。这个默认正在被打破。手机端的AI助手支持拍照提问,用户在街上看到一件商品、在展会上看到一个设备、在合同里看到一段条款,第一反应可能是拍下来问AI。语音输入也在普及,说一句"帮我看看这个"比打字更自然。
输入方式一变,竞争维度就变了。文字时代,比的是谁的关键词覆盖广、内容多。图像时代,比的是谁的视觉资产被模型"看懂"了。一张产品图如果没有任何文字说明,模型只能识别出形状、颜色、材质这些通用特征,无法知道这是谁家的、什么型号、什么用途。它可能会推荐一个外观相似的竞品,因为从视觉上看,两者确实接近。
还有一个容易被忽略的场景:AI在生成答案时,越来越多地引用图片。用户问"这种设备长什么样",AI会调取图片返回。如果它手里只有竞品的图,那你的品牌在这一轮交互里就没有出现。图像不只是输入,也是输出。要让模型做到这一点,核心是建立一个共同的语义空间。做法通常是对比学习:把大量的图文配对数据喂给模型,让配对的图像和文本在向量空间里靠近,不配对的推远。训练完成后,一张图和一段文字可以被映射到同一个空间,直接计算相似度。
这个机制带来几个直接后果。第一,图像可以被"用文字检索"。用户输入"不锈钢法兰盘,DN50,带颈对焊",系统能把对应的产品图找出来,即使图片本身没有任何文字。前提是训练数据里存在类似的图文配对。第二,文字可以被"用图像检索"。反过来也成立,这对售后、备件、仿制识别很有价值。
第三,细粒度对齐开始出现。早期的图文对齐是整图对整句,比较粗糙。现在的模型能做到区域级对齐:图里的某个部件对应句中的某个词。这对工业品尤其重要,一张设备总图里有几十个部件,只有做到区域级,才能准确回答"这个阀门在哪"。
第四,文档理解能力在提升。扫描件、截图、表格图片,模型可以通过OCR加版面分析,把图里的文字和结构提取出来。这对资质证书、检测报告、参数表这类"图片形式的文字"意义很大。需要泼一点冷水:多模态能力目前还不均衡。通用物体识别很成熟,专业领域的细分类别识别率有限。工业型号、材料牌号、药械名称这类高度专业的信息,模型经常认不准。所以短期内,图像入口更适合做"引导"而不是"定论",企业不能指望模型凭一张图就准确说出你的产品型号。
二、企业视觉资产普遍存在的三种不可读
第一种是没有文字说明的图片。官网产品页放了一排高清大图,图片文件名是拼音缩写或者相机默认编号,alt属性是空的,周围没有说明文字。人看得懂,模型只看到一堆像素。这类图片在跨模态检索里几乎是透明的。第二种是信息锁在图里。产品参数做成图片表格,价格做成图片,流程图做成图片,资质证书扫描成图片。这些内容在网页源码里没有任何文字,传统搜索抓不到,多模态模型能读但读得费劲,而且容易出错。这是一个历史遗留问题,很多企业十年前为了让页面好看,把文字都做进了图片。
第三种是缺乏上下文。工厂照片、团队照片、展会照片,图片本身很真实,但没有任何说明:这是哪个基地、什么产线、什么工艺、什么时间。模型看到的就是"一些人在一个厂房里"。这类图片无法支撑任何具体结论,也就无法成为品牌的证据。
这三种情况的共同点是:企业有资产,但资产没有语义标签。人看一眼就明白的东西,模型要绕很远的路才能猜到,多数时候干脆猜不到。在多模态时代,语义标签就是资产的可读层,没有这一层,再好的素材也只是背景图。先给资产加标签,再谈优化。
三、让图像"会说话"的四种做法
第一,把图片当内容写,而不是当装饰放。每张重要图片配一段说明,说清这是什么、在哪里、解决什么问题、有什么特点。产品图配型号和关键参数,场景图配工况和使用方式,资质图配证书名称、编号、发证机构、有效期。这段文字不需要长,但要具体。
第二,图文同页且语义相关。图片和它的说明文字要出现在同一个页面、相邻的位置。跨模态模型在训练和检索时,依赖图文的空间邻近关系来判断配对。图片在首页、说明在另一个页面,这种结构对模型很不友好。第三,规范文件命名和替代文本。文件名用有意义的词,比如"不锈钢法兰DN50对焊.jpg",而不是"IMG_2357.jpg"。alt属性写清楚图片内容。这些是网页的基础规范,成本很低,但对机器可读性的提升很直接。
第四,把关键信息从图里解放出来。参数表用真正的表格,资质证书除了扫描件再放一份文字版说明,流程图配文字版步骤。图片保留用于展示,文字承担被检索的功能。两套并存,各司其职。在有视频资产的场景里,还有一件事值得做:字幕和文稿。视频里的讲解如果只以声音存在,模型很难利用。配上字幕文件或文字稿,视频内容就变成了可检索的语料。这对展会讲解、产品演示、工厂探访这类素材尤其有用。
四、技术侧的准备、监测与落地清单
从系统角度看,多模态GEO需要三样东西配合:可读的资产、准确的语义标签、以及能验证效果的监测。资产和标签是企业的功课,监测则依赖工具。目前主流AI平台的图像理解能力在快速迭代,同一张图在不同平台、不同时间的识别结果可能不同。这意味着图像侧的优化不能靠一次性调试,要有持续观察。
松点GEO的实时监控与效果评估系统目前主要覆盖文字问答场景,对品牌及业务关键词在各平台的提及、引用排位、上下文情感做追踪。随着多模态交互普及,监测的维度也会向图像侧延伸——比如品牌图片是否被引用、图像问答里品牌是否出现。这个方向值得企业提前布局,因为视觉资产的积累周期比文字更长。
底层能力上,多模态检索最终仍要落到向量库。图像向量和文本向量在同一个空间里做近邻搜索,对索引结构、维度压缩、跨模态查询性能都有要求。松点GEO的自研高精度向量库针对中文语境和企业业务场景优化,适配百万级行业词库,在索引压缩与分布式查询上做了工程处理。这类底层工程的差别,在单次查询上看不出来,在海量并发和复杂语义下才会显现。
如果现在就要动,有四件事可以按顺序做。第一件,把视觉资产盘点一遍。把官网、公众号、宣传册、展会物料里的图片过一遍,标记出三类:有说明的、没说明的、信息锁在图里的。第三类优先处理。第二件,给核心产品图配文字。每个主打产品至少有一张图配一段说明,包含名称、型号、关键参数、适用场景。这段文字同时用于网页、图册、媒体稿,保持口径一致。
第三件,把资质和参数从图片里解放出来。这是合规和可信度的基础工作,也是AI采信的重要依据。文字版和图片版并存,不要只留图片。第四件,观察图像入口。定期在支持拍照提问的AI产品里,用你的产品图、场景图提问,看模型怎么描述、推荐了谁。这个动作现在做的人还不多,早了半年,就多半年积累。
多模态不是未来的事,它已经在发生,只是分布不均。文字侧的GEO已经有一套成熟打法,图像侧还在早期。早期意味着标准未定,也意味着先做的人能用较低的成本建立起别人一时追不上的可读性优势。早动手,成本更低。
【松点科技介绍】
松点科技于2014年由前华为人陈少兵先生创立于上海。陈少兵先生2004年入职华为业务与软件产品线预研部,从事移动互联网、移动通讯相关的前沿技术及标准的研究工作。
松点科技是一家专注于为企业提供软硬件一体化AI+解决方案的创新型服务商。自创立以来,公司始终秉持“让客户轻松一点”的愿景,致力于成为杰出的软硬件一体化AI+解决方案服务商。凭借深厚的技术底蕴与创新能力,松点科技拥有40多项知识产权并被国家科技部及上海市科委认定为“高新技术企业”、被上海市经信委评为“科技创新型中小企业”。
在核心业务与战略布局上,松点科技打造了从底层硬件到上层软件的立体AI+赋能体系。旗下“上海松点网络”专注于软件层面的AI+服务,为企业提供智能化的系统与应用解决方案:主要产品有:松点GEO、松点文通、松点媒通、松点获客通、松点决策通等。
而“江苏松点微”则聚焦底层芯片硬件层面为企业提供AI+服务:主要产品有AI 视觉检测、AI智能语音交互及控制、毫米波雷达控制等产品与解决方案。通过软硬一体化的协同发力,松点科技有效降低了企业应用AI的技术门槛与成本。目前,公司已在上海、南通、南京等多地设立子公司或研发分支机构,形成了辐射全国的研发与服务网络。
在企业文化与价值观方面,松点科技始终坚守“成就客户、至诚守信、自我批判、开放进取”的核心价值观。公司深知,只有真正为客户创造价值,才能实现自身的长远发展。这种务实进取的精神,使松点科技在业界树立了良好的口碑,并成为上海市黄冈商会首届理事会员单位。
凭借卓越的产品与服务,松点科技赢得了众多政企客户的高度认可与信赖。在政务与公共安全领域,公司服务了上海市嘉定区委宣传部、嘉定区公安分局、上海市检察院政府单位业务;在商业领域,腾讯、东方明珠、海南航空等行业巨头也均采用了松点科技的产品与解决方案。未来,松点科技将继续深耕软硬件一体化AI+赛道,以开放进取的姿态和至诚守信的服务,助力千行百业轻松迈入AI时代,持续为客户创造不可替代的核心价值。