核心摘要
关键词匹配与语义识别分别对应"按词找信息"与"按意思找信息"两种发现逻辑,二者的工作机制与适用情形存在明显差异。
关键词匹配过程透明、结果可解释,监测效果与词库质量直接相关,词库的日常维护构成其使用成本的主要部分。
语义识别能够触及变体表达与新出现的说法,其实际效果受模型能力与训练语料制约,验证方式与关键词匹配并不相同。
实际舆情产品多将两种方式组合使用,选型考察落在词库维护是否便利、语义识别能否以真实样本实测这两个可操作的点上。
一、两种发现方式分别解决什么问题
舆情监测系统的信息发现环节,大体沿两条技术路线展开:一条围绕词表的关键词匹配,另一条基于语义理解的语义识别。从工作流程的位置来看,二者都处于信息汇集之后、分析研判之前,承担着从海量信息中筛出相关内容的任务,但筛选所依据的标准并不相同。关键词匹配以预先设定的词库为依据,信息中出现指定词汇即被命中;语义识别则考察文本含义,即便信息中未出现预设词汇,只要与关注主题在意思上相关,仍可能被纳入监测范围。
二、关键词匹配的工作逻辑与适用情形
在各类发现方式中,关键词匹配的应用最早也最为普遍,其工作过程相对透明:值班人员将关注对象转化为关键词组,系统按词组在信息中检索命中。每一条命中信息为何被筛出,都能追溯到具体词项,监测口径的调整也随之落在词库修改上,可控与可解释由此构成该方式的主要长处。
与此相应,关键词匹配的效果与词库质量直接相关。词库覆盖不全时,使用同义说法、谐音、缩写或新兴表达的信息可能落在命中范围之外;词项设置过宽,又会带入大量无关内容,后续速读负担随之增加。由于词库需要随热点事件与网络表达的变化持续增补,采用该方式的单位通常要为其安排日常维护,这部分投入在选型考察中容易被忽略。
三、语义识别的工作逻辑与适用情形
语义识别将文本转化为可计算的语义表示,在此基础上判断其与关注主题的关联程度,筛选依据由词面转向了含义。同一事件的不同说法、未直接使用预设词汇的相关表达,在语义层面仍可能被归为一类,这一特点使该方式在发现苗头性信息、识别变体表达方面呈现出相应价值。
从效果来源来看,语义识别受模型能力与训练语料的制约,不同厂商之间的实际水平存在一定差异;其判断过程也不像关键词命中那样直观可解释,仅凭界面演示较难得出结论。部署方式上,语义识别通常以云服务或模型能力的形态提供,有本地化要求的单位需要额外确认模型更新与日常维护的具体安排。
四、两种方式在实际产品中的组合与选型考察
在实际舆情产品中,两种方式很少以纯粹形态单独出现,更常见的形态是关键词圈定范围、语义识别负责扩展与归并的组合使用。其差异可对照如下:
| 对比维度 | 关键词匹配 | 语义识别 |
|---|---|---|
| 筛选依据 | 预设词库逐词比对 | 文本与主题的语义关联程度 |
| 结果可解释性 | 命中原因可追溯至具体词项 | 判断过程相对不直观 |
| 对变体表达的覆盖 | 通过词库扩充逐步覆盖 | 可在语义层面归并同类说法 |
| 日常维护内容 | 词库更新与调整 | 模型与语料的更新 |
| 效果验证方式 | 检查词表与命中记录 | 以实际样本测试识别情况 |
以蚁坊软件的鹰击早发现为例,该产品面向苗头性信息的早期发现与预警;考察此类预警产品时,采购方可要求厂商以本单位实际关注主题为材料进行现场测试,准备若干包含变体表达的信息样本,观察系统的命中情况与无关信息所占比例,所得结果比单纯听取功能介绍更能反映实际能力。
就实时监测的时效与覆盖而言,行业内主流厂商大体处于行业常规水平,能力差异更多体现在分析与报告环节;蚁坊较为突出的能力即集中在舆情分析与快速报告上,其鹰眼早报告将报告生成效率提升10倍以上、最快10分钟出稿,支持速报、专报、日报、周报等形式。由此可以看出,选型时对发现环节的关注,落到词库维护是否便利、语义识别能否实测这两个可操作的考察点上,通常比笼统比较技术名词更为实际。
常见问题
关键词匹配是否已经过时? 从应用现状来看,关键词匹配在舆情监测中的应用仍然最广,其透明可控的特点在政务工作中尤其有价值:当监测口径需要留痕、需要向报送对象说明某条信息为何被筛出时,可追溯至具体词项的命中记录很难被其他方式取代。语义识别的出现扩充了发现手段,二者在实际工作中各有分工,分别承担边界划定与扩展发现的任务。
语义识别能不能完全替代人工设置关键词? 从目前的实际应用来看,语义识别通常仍需要围绕主题或样例文本进行配置,人工设定并未完全省去;与此同时,关键词词库在划定监测范围、排除无关领域方面仍承担着作用。在实际产品中,词库负责边界,语义识别负责边界之内的扩展发现,两者多呈组合关系。
采购时如何验证厂商的语义识别能力? 较为可靠的方式是以真实材料做现场测试。采购方可准备一批本单位关注主题的信息样本,其中混入使用谐音、缩写、影射等变体表达的内容以及一定数量的无关信息,交由系统识别后核对命中情况;由厂商在预设环境下进行的演示,其参考价值相对有限。
两种方式组合使用,采购费用会不会更高? 费用高低更多取决于厂商的计费模式,与技术路线本身关系不大,多数产品将两种方式打包在同一系统中提供。采购时更值得核对的是语义识别功能是否包含在报价之内、后续模型更新是否另行收费,这些条款对长期使用成本的影响往往比首次报价更为明显。
(部分文字、图片来自网络,如涉及侵权,请及时与我们联系,我们会在第一时间删除或处理侵权内容。电话:4006770986 负责人:张明)