【前沿重器】句子相似度和匹配心法利器 全球即时看
【前沿重器】
本栏目主要和大家一起讨论近期自己学习的心得和体会,与大家一起成长。具体介绍:仓颉专项:飞机大炮我都会,利器心法我还有。
【资料图】
往期回顾
心法利器[13] | 任务方案思考:句子相似度和匹配
心法利器[14] | 任务方案思考:人工特征机器学习
心法利器[15] | 准招分治效果调优方案
心法利器[16] | 向量表征和向量召回
心法利器[17] | 算法服务及其相关配件
应一些朋友之邀,想我谈谈这两个东西,那我就展开谈谈吧,和大家分享分享。
背景
搜索也好,检索式对话也好,文本是一个很难绕开的话题,虽然语义是一个重要因素,用语义相似度直接梭,但是用户的感知可不是如此,很多用户的感知更多是文本层面的相似要高于语义相似,或者说,遇到语义相似和文本相似的时候会更优先接受文本相似,毕竟文本使用户能直接看到的,当然语义相似度虽好,但是对于没有什么标注数据的情况,也是束手无策吧。
所以,即使语义相似度如火如荼地发展着,文本层面的匹配依旧是项目实践中不可避免的关注点。
cqr&ctr概念
cqr和ctr的概念还是比较清晰明确的。
给定query 和title ,现在计算cqr和ctr。
讲完了,就是这么简单,其实就是看两者交集占query的占比和占title的占比,就是对应的cqr和ctr。
当然,由于这种计算会把所有词的重要性考虑进去,例如“怎么做作业”分别和“怎样做作业”、“怎么做手机”,两个的相似度就一样了,此时就要考虑到给每个词加点权重,这样能更好地描述,这就是一个优化的实用版本,加权
给定query ,有对应的权重 和title ,以及对应权重 ,现在计算cqr和ctr:
想到可能会有人问到权重怎么来,这里我就要把我的历史文章放出来了,之前是专门讲过词权重的问题的:NLP.TM[20] | 词权重问题
这个应该就是我自己平时用的版本了,而且屡试不爽。
而如果是要分析两个句子综合、无偏的相似度,只要相乘就好了:
细品
可以看到,这个东西很简单,就是一个基于统计计算的工具,但是我依然想仔细讨论一下这个东西。
首先,有关相似度,其实我们很容易想到这个计算方法:
就是比较著名的jaccard相似度,当然还有一个更加出名的方法,那就是BM25(更为常见,此处就不赘述了)。但是我并没有选择,为什么呢,其实核心就是1个点:
jaccard距离虽然能比较综合、无偏向性地计算两者的相似度,但问题是,当query和title长度计算差距很大的时候,计算准确性就会受到影响,而分成两个指标,则能够充分表现两者的相似性,当然具体用哪种其实还是要看具体场景的,有的时候这种无偏向性对效果优化还是有用的,但是有的时候其实会影响最终效果。
来看个例子,query是“我昨天新买的手机,今天怎么就不能开机了”,title是“手机不能开机”,这里可以,ctr无疑就是1,当然cqr就比较低了,但是我们可以用ctr作为后续的排序特征或者过滤条件。
优缺点
感觉有些东西想说但是没说出来,直接总结一下这个方案的优缺点吧,以便大家进行方案选择吧,这个优点,是相对于常见的语义相似度模型而言的。
首先说优点:
能够体现文本层面的相似度,在一些领域下体验比较好。
性能比语义相似度模型好很,所以是一个简单轻快的模型。
无监督,词权重的话用语料就可以训练了。
效果稳定可追踪。
当然,还是有缺点的。
文本层面的匹配无法体现语义,同义词、说法之类的无法体现。
对切词敏感,类似“充不进去电”和“充电”就完全匹配不上。
应用
有这些有缺点,其实我们就可以考虑这个相似度该怎么用了:
用于过滤一些肯定不对的答案。
无标注数据下,这个指标可以作为排序的指标,对启动项目挺重要的。
作为排序特征,保证结果在文本层面还是比较接近的。
当然,在一个比较完整的搜索或者是检索式对话的系统里,其实这种文本相似度类的特征还是非常有收益的,结合语义相似度还是会有一些比较稳定的收益。
小结
东西其实不难,却是非常实用的技能,但是在应用的过程中能够想到的人其实很少,但有用的东西我们学起来也挺好。
标签:
相关推荐:
最新新闻:
- 全球观焦点:系统冗余是什么?冗余的详情介绍
- 【前沿重器】句子相似度和匹配心法利器 全球即时看
- 西门子PLC7怎么防止错误操作?西门子PLC梯形图编程规则
- 正则解析网络运维数据之OneTake 解析网络运维数据:环球焦点
- 2023年常州春节哪里有烟花?:世界即时
- 精选!《霍格沃茨之遗》发售1个月倒计时 社区总监:等待是艰难的
- 恐怖逃生解谜游戏《恶娑海》Steam页面上线 2023年第四季度发售_当前滚动
- 鹅鸭杀否认腾讯收购 尚未计划登陆WeGames-天天热推荐
- CCTV6将首播刘亦菲版《花木兰》 尽显东方神韵 世界观热点
- 环球实时:HBO《最后生还者》角色设定改动 山姆的耳朵失聪了
- 今日播报!索尼宣布推出《原神》联动耳机 仅在日本限定发售
- 罗琳引LGBTQ+不满 《霍格沃茨之遗》喜提“反派”tag
- 《幻想三国志 天元异事录》现已在Steam平台免费推出
- 微软《极限竞速:地平线》系列多位人才出走 成立全新工作室
- 《流浪地球2》IMAX/CINITY海报:风格独特宏伟壮观:环球观热点
- 庵野秀明将客串漫改日剧《一刑的乌鸦》剧场版
- 米哈游希望在2030年推出世界级元宇宙产品 10亿人可生活其中
- pdg用什么打开?怎样将pdg文件转为pdf?
- macbook截屏快捷键是什么?macbook截屏快捷键的方法
- win7没有找到Vcomp100.dll?找到Vcomp100.dll的具体步骤
- DNF如何设置窗口?设置DNF窗口的步骤
- skype登陆不上怎么办?skype登陆不上处理方法步骤
- xp系统无法关机是什么原因?无法关机的两种解决办法
- 提示80072efd的错误代码是怎么回事?提示80072efd的错误代码解决方法
- 没下载完的文件如何导入迅雷?迅雷提示"临时文件读取错误"?
- Win8系统配置在哪里?打开Win8系统配置步骤
- 电脑总是弹出Windows安全警告?教大家关闭安全警告的方法
- 初始化网卡信息失败导致不能上网怎么办?初始化网卡信息失败导致不能上网操作过程
- 一键还原精灵怎么彻底删除?一键还原精灵彻底删除两种方法及注意事项
- 会声会影x5序列号及激活码分享 会声会影x5安装步骤
- mom.exe是什么进程?mom.exe文件放在哪?
- 文件夹禁止写入怎么设置?文件夹中不可以存放什么?
- cdr文件打开很慢是什么原因导致的?cdr文件打开很慢的解决方法
- e站需要挂什么加速器 ehviewer网络错误怎么办?
- 设置点击此处进行编辑怎么设置?设置点击此处进行编辑设置操作步骤分享
- 蒲公英SD-WAN组网是什么?蒲公英如何异地组网?
- Win8怎么分区?Win8硬盘分区的方法
- 环球热消息:次世代版MSX迷你掌上主机样品公开 1月15日开众筹
- 《魔界战记7》第4弹宣传片公开 游戏1月26日发售-每日快报
- 世界速递!SpaceX运用医疗模拟游戏训练宇航员 效果明显
- 环球热文:《霍格沃茨之遗》Steam页面被打上二战、心里恐怖等标签 疑似粉丝抗议JK罗琳
- 动视暴雪拒绝承认子公司Proletariat工会成立
- 环球时讯:《英雄联盟》S13全球总决赛将在韩国举办 采取全新赛制
- 今日热讯:《死亡岛2》给武器加耐久度 是让玩家不断换新武器
- 任天堂日服试玩同乐会 《你裁我剪斯尼帕》免费游玩
- 《龙珠Z:卡卡罗特》巴达克DLC新预告 1月13日推出|每日热文
- 《中国奇谭》B站播放量破5000万 哪个角色是你最爱?_当前播报
- 黑客推出假冒《宝可梦》NFT卡牌游戏:内含病毒
- 电脑证书错误怎么办?四个步骤详细教程
- 如何一键ghost8.3硬盘版备份硬盘?一键ghost8.3硬盘版备份方法
- 思科tftp服务器如何设置根目录?思科tftp服务器命令介绍
- QQ缓存文件是什么?QQ缓存文件应该怎么清除?
- 浏览器提示无法定位序数459怎么办?教大家解决方法
- 提示此网页包含的内容将不使用安全的https连接传送怎么解决?
- bios电池在哪?找寻bios电池在哪的方法步骤
- 产的了却买不到的布洛芬,到底是不是个投资新机会? | MIR DATABANK|新要闻
- 磁盘碎片整理有什么用?介绍磁盘碎片整理的作用
- 打开方式不对导致文件打不开怎么办?还原文件默认打开方式步骤
- coreldraw复制快捷键是什么?cdr怎么等距离连续复制?
- 虚拟光驱怎么用?虚拟光驱的使用方法步骤
- 提示vcomp100.dll丢失问题怎么解决?Vcomp100.dll丢失解决方法
- skype无法登录怎么办?skype无法登录的操作方法
- 电脑提示Shockwave Flash崩溃怎么解决?三种解决方法
- 一直弹出ravmond.exe应用程序错误怎么办?ravmond.exe应用程序错误解决方法
- 如何打开PDG格式文件?PDG文件的打开方法
- 《最后的生还者》剧集IGN评9分 吸取了游戏精髓
- 统计显示自2016年以来 英国游戏公司增长了31%_世界报资讯
- 焦点速读:直击JPM:吉利德因涨价遭现场抗议;辉瑞全球CEO回应P药在华策略;强生、BMS手握收购巨资……
- 1999 元!大疆 RS 3 Mini 微单稳定器发布:真的很迷你
- 苹果罕见大气发福利!iPhone、iPad送半年iCloud+ 每日关注
- 全球热讯:性能怪兽来了 RTX40系显卡水冷游戏本发布
- 环球影业:宫本茂参与了超级任天堂世界的每一步创作
- 《卧龙:苍天陨落》发布巨牛傲因BOSS战视频
- 世界热消息:《深岩银河》全平台销量超过了550万套
- 全球快报:“抄袭”中国,越南抄的是皮,印度抄的是根