博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
排序模型
阅读量:5876 次
发布时间:2019-06-19

本文共 510 字,大约阅读时间需要 1 分钟。

传统的排序模型主要分为相关性和重要性两大类
相关性:Bool model,VSM,Language model
重要性:PageRank、TrustRank
1.Bool model
Query为逻辑表达式,即“与/或/非”,相似性通过布尔代数运算判定,只有相关于不相关
2.VSM
是一种表示文档的代数模型。文档映射为t维特征向量,每维特征的权重主要有TF-IDF等多个变种。
相似度计算主要是余弦相似度
3.概率检索模型
BM25将Query分解成多个语素,综合考虑每个语素的二元独立模型(与IDF等价)、语素在文档中的权值、语素在Query中的权值,求和。
4.Language model
为每个文档建立不同的语言模型,判断由文档生成Query的可能性有多大,然后按照这种生成概率由高到低排序,作为搜索结果。
数据稀疏问题:很多查询词在文档中没有出现,导致概率为0,检索失效
解决:用背景概率做数据平滑,某个单次的背景概率就是这个单次出现的次数除以文档集合的单次总数
综上,文档生成查询概率的计算公式为每个查询词的文档语言模型+平滑的文档集合语言模型,求积
改进:HMM、相关模型、翻译模型
5.PageRank

 

转载地址:http://cdzix.baihongyu.com/

你可能感兴趣的文章
如何做到“恰好一次”地传递数十亿条消息
查看>>
倒排索引创建案例
查看>>
Firewalld的概念与使用
查看>>
React项目技术栈
查看>>
项目线程安全
查看>>
ElementUI Table组件,如何在多页数据下勾选多行
查看>>
什么是Scala Scala如何学习和入门之我的个人学习经验以及相关实战
查看>>
elemetui中好用的小技巧
查看>>
Android Binder的使用
查看>>
Cocos2dx源码记录(8) CCMaterial, CCTechnique,CCPass
查看>>
springmvc+mybatis+restful+webservice 分布式架构
查看>>
Oracle 面试题总结
查看>>
Flutter RichText支持图片显示和自定义图片效果
查看>>
微软开发人工智能系统 在吃豆人游戏中获满分
查看>>
Mint UI loadmore禁止下拉
查看>>
Vue下拉刷新组件
查看>>
python机器学习实战(四)
查看>>
智能合约的一种设计结构
查看>>
npm install --save 和 --save-dev的区别
查看>>
使用nvm管理node与npm版本
查看>>