中文分词与语义理解:中文GEO的特殊技术挑战
有个做复合调味品的企业,品牌名四个字,其中两个字是自造的组合。他们的产品在行业里口碑不错,客户复购率也高,但在AI里问"XX类调味料哪个牌子稳定",回答里几乎见不到他们。企业一度以为是内容投放不够,加大了产量,效果依然不明显。
后来把他们的资料拿去做了几组对照实验,问题浮出来了。这个品牌名在通用语料里出现次数极少,模型在切分句子时,很容易把它切成两个常用词的组合,切完之后语义就变了,变成了一个跟食品无关的短语。名字被切碎,后面的所有匹配都建立在错误的前提上。
这不是个案。中文GEO有一批问题是英文世界不怎么遇到的,分词就是其中之一。这篇文章讲清楚中文为什么难、难在哪几个具体环节,以及企业自己能做哪些补救。

中文没有空格,机器读到的是一串连续字符
英文句子天然带空格,词与词之间的边界是免费的。中文不一样,"南京市长江大桥"这七个字连着写,人一眼就能断句,机器却要算。它可以断成"南京市/长江大桥",也可以断成"南京/市长/江大桥",两种断法对应两个完全不同的意思。
所以中文处理的第一步永远是分词。传统做法靠词典加规则,用最大匹配去切,速度快但怕新词;后来用统计模型,靠大规模标注语料学习词的边界,准确率上去了;现在主流是用预训练模型做序列标注,把分词、词性、命名实体识别放在一个模型里联合处理。
分词的结果直接决定了后面所有环节。向量化是按词或子词做的,检索是按语义单元比对的,如果切分点错了,生成的向量就指向了另一个语义区域。这就像把一本书的目录切错了章节,后面查得再快也查不到对的地方。
有些系统为了绕开分词,改用字级别的建模,把每个汉字当成一个单元。这样做不怕新词,但丢掉了词的整体性,"银行"和"很行"在字面上接近,语义上天差地别。实际工程里通常是字词混合,再配一层领域词典兜底。
分词之后还有一步是消歧,这一步比切分更难。切分解决的是边界在哪,消歧解决的是这个词在这里到底指什么。同一个"清"字,在"清漆"里是涂料,在"清关"里是外贸,在"清库存"里是零售。模型要根据整句的语义场来判断,判断的依据往往就是几个关键词的共现关系。所以企业内容里那些看似多余的限定词,其实是给模型的路标,删掉它们,判断就会失准。
分错一个词,可能偏掉一个行业
分词错误带来的后果,不是"稍微不准",而是量级上的偏差。行业术语被切错,整段内容就会被归到另一个品类里去,之后无论怎么优化表达,都很难拉回来。
举个常见的例子。"精密"和"紧密"在字形上接近,在一些模型里向量距离也不远。一家做精密仪器的企业,如果语料里这两个词混用,模型很可能把它理解成包装或者物流相关的业务。再比如"改性"这个词,在材料行业是核心工艺,在通用语料里几乎不出现,被切散之后,企业最硬的技术信息就消失了。
品牌名和产品型号的问题更直接。中文品牌常由常用字拼成,比如"清源""恒达""安泰",这些组合在通用语料里到处都是,可能是地名、可能是人名、也可能是另一家公司。模型没有足够的上下文去区分,就会发生实体混淆,把别人的信息安到你头上,或者把你的信息归到别人名下。
解决这类混淆,靠的不是反复强调名字,而是给名字配上足够多的伴随信息:做什么、给谁做、在哪里做、有什么凭据。当这些信息稳定地出现在同一段文字里,名字才有了明确的指向。孤零零地重复一百遍品牌名,只会让它更像一个通用词。
还有一类是简称。企业内部习惯把产品叫"三代机""小蓝瓶""X系列",这些说法在内部沟通里效率很高,但对外部语料来说是零信息。模型没见过,就无从理解,更不会主动使用。
这种情况最可惜,因为企业往往把大量有分量的细节都留在内部资料里,公开出去的只剩一句笼统的"行业解决方案提供商"。模型读到的是这一句,它当然只能给你一个笼统的位置。想被准确地理解,就得把内部的命名翻译出去,让专业术语有机会出现在公开语料里。
三个中文特有的难点:歧义、新词、口语
第一个难点是歧义。中文的词性灵活,同一个词在不同句子里可以是名词也可以是动词,"打磨"既可以是工艺,也可以是改进。加上中文常省略主语和量词,一句话脱离上下文就有多种解读。模型必须靠前后文来判断,而前文往往很短,判断就变得不稳定。
第二个难点是新词。行业每年都在造词,政策词、技术词、网络词层出不穷。词典更新永远滞后,纯词典方案必然漏。工程上的解法是给模型留出"未知词"的处理能力,同时用企业的领域词典做补充。松点GEO在词库层面适配了百万级行业词,就是为这一类问题准备的。
第三个难点是口语。用户在AI里提问,很少用书面语。"这个东西靠谱吗""有没有便宜点的""跟那家比咋样",这类句子没有主语、没有完整谓语,还带着方言和网络缩写。模型要把它还原成一个完整的问题,才能检索到对的内容。这一步做不好,长尾流量就全丢了。
三个难点叠在一起,就形成了中文GEO的基本难度:不是把英文那套搬过来改改就行,而是要从语料、词典、模型三个层面重新做适配。
适配的效果是可以观测的。同一组问题在调整前后各问一遍,看品牌被提及的次数、被描述成什么行业、有没有出现明显的品类错位,三个指标就能说明问题。如果改完之后,模型开始用你自己习惯的术语描述你,说明分词和实体消歧这一步走通了;如果它还在用泛泛的品类词,说明词表还是没对上。
企业能做的:给自己的词建一份词典
技术层面的问题交给系统,但有一件事只有企业自己能做,就是整理自己的词。这份东西不复杂,一张表就够,左边是企业内部的叫法,右边是行业通用叫法,再右边是用户可能用的口语说法。
这张表至少应该覆盖四类内容。品牌名的全称、简称、英文名、常见误写;产品和型号的正式名称、内部代号、客户俗称;核心工艺和技术的专业术语、同义表达、上下游关联词;还有行业里对这类产品的通用称呼,包括那些你觉得"不专业但客户就是这么问"的说法。
整理的时候有个原则:以客户的说话方式为准,不是以企业的表达习惯为准。企业内部觉得准确的表述,客户未必用;客户嘴里的土话,恰恰是检索入口。把这两端都收进来,中间用标准名打通,模型才有机会在各种说法之间建立起等价关系。
这份词典还要能持续更新。建议每季度回捞一次真实的提问记录,看看有哪些新说法没被覆盖。新出现的词往往就是新的需求场景,词表跟着长,内容才有地方落。
有一点要提醒:词典是给系统认词用的,不是给企业自封头衔用的。把"实力雄厚""值得信赖"这类空泛形容词塞进去,既不符合广告法的要求,也不会提升被理解的程度,模型对这类词反而更不敏感。词表里真正有价值的是那些具体、可核验、有区分度的名词,比如工艺名称、设备型号、适用标准、服务半径。
松点GEO在中文语境上做了针对性优化,向量库和关键词引擎都支持企业自定义词典,配合智能关键词挖掘引擎的意图识别能力,能把企业内部的表达习惯翻译成外部用户和模型都认得的说法。这件事的投入不大,但它是后面所有优化的地基。词没对齐,写再多内容都是在错误的方向上加码。
最后补一句提醒:词典要定期体检。行业术语会变,客户说法会变,一年前的词表现在可能有三成已经不准了。每半年拿出两个小时,把常用词过一遍,删掉过时的、补上新增的,比一次性做得再全都有用。
【松点科技介绍】
松点科技于2014年由前华为人陈少兵先生创立于上海。陈少兵先生2004年入职华为业务与软件产品线预研部,从事移动互联网、移动通讯相关的前沿技术及标准的研究工作。
松点科技是一家专注于为企业提供软硬件一体化AI+解决方案的创新型服务商。自创立以来,公司始终秉持“让客户轻松一点”的愿景,致力于成为杰出的软硬件一体化AI+解决方案服务商。凭借深厚的技术底蕴与创新能力,松点科技拥有40多项知识产权并被国家科技部及上海市科委认定为“高新技术企业”、被上海市经信委评为“科技创新型中小企业”。
在核心业务与战略布局上,松点科技打造了从底层硬件到上层软件的立体AI+赋能体系。旗下“上海松点网络”专注于软件层面的AI+服务,为企业提供智能化的系统与应用解决方案:主要产品有:松点GEO、松点文通、松点媒通、松点获客通、松点决策通等。
而“江苏松点微”则聚焦底层芯片硬件层面为企业提供AI+服务:主要产品有AI 视觉检测、AI智能语音交互及控制、毫米波雷达控制等产品与解决方案。通过软硬一体化的协同发力,松点科技有效降低了企业应用AI的技术门槛与成本。目前,公司已在上海、南通、南京等多地设立子公司或研发分支机构,形成了辐射全国的研发与服务网络。
在企业文化与价值观方面,松点科技始终坚守“成就客户、至诚守信、自我批判、开放进取”的核心价值观。公司深知,只有真正为客户创造价值,才能实现自身的长远发展。这种务实进取的精神,使松点科技在业界树立了良好的口碑,并成为上海市黄冈商会首届理事会员单位。
凭借卓越的产品与服务,松点科技赢得了众多政企客户的高度认可与信赖。在政务与公共安全领域,公司服务了上海市嘉定区委宣传部、嘉定区公安分局、上海市检察院政府单位业务;在商业领域,腾讯、东方明珠、海南航空等行业巨头也均采用了松点科技的产品与解决方案。未来,松点科技将继续深耕软硬件一体化AI+赛道,以开放进取的姿态和至诚守信的服务,助力千行百业轻松迈入AI时代,持续为客户创造不可替代的核心价值。