智能搜索和推荐系统第八章--推荐系统的主要算法
本章介绍思路如下:从协同模型推广到矩阵分解,从第5章介绍的LR模型推广到其他线性模型如FM和FFM,从第5章介绍的树模型和集成模型推广到其他树模型和集成算法模型,以及深度学习模型Wide&Deep、Deep FM。 1.矩阵分解基于协同的模型都属于近邻分析模型,但是近邻分析模型又存在一些明显 ...
Read more
智能搜索和推荐系统第七章--推荐框架及原理
1.推荐系统的框架及运行推荐系统关注的三大核心问题,分别是预测、排序和可解释性。预测主要是推断用户对物品的喜好程度。排序是对已经推断出的结果进行排序。可解释性是指对推荐的结果给出合理的解释,甚至可以通过关系图谱的方式展示。 1.1 基本框架一个推荐系统大致可以分为4层,分别为离线层、存储层、近线层和 ...
Read more
2020法研杯阅读理解赛道第一名方案
2020法研杯阅读理解赛道第一名方案2020年法研杯阅读理解竞赛结束了,我们团队在最终排行榜获得了第一名的成绩,去年也参加了,过了一年,还是一只鶸,害,首先感谢各个队友的帮助,接下来是我对参加这次比赛的总结与分享,希望和大家相互学习,多交流。 数据介绍今年的数据集是去年的升级版,去年格式类似SQuA ...
Read more
智能搜索和推荐系统第六章--搜索系统评价
搜索系统的评价维度一般包括性能评价和效益评价。性能评价一般包括时间性能和空间性能。系统响应的时间越短,占用的存储空间越小,系统的性能就越好。但时间优越性和空间优越性一般不能兼得,需要取舍。对于搜索系统而言,我们除了考虑响应时间和存储空间之外,还需要考虑其他重要指标,如排序相关性等,即需要考虑检索结果 ...
Read more
智能搜索和推荐系统第五章--搜索系统中的主要算法
1.搜索和机器学习搜索引擎包含两个阶段:召回和排序。搜索系统中所涉及的机器学习的算法会分布在两个部分。第一部分是对Query及文档的理解过程,因为理解过程中使用了自然语言处理等相关算法。第二部分就是排序学习过程,即将机器学习技术应用到排序阶段, 1.1排序学习传统的检索模型靠人工来拟合排序公式,并通 ...
Read more
智能搜索和推荐系统第四章-1--搜索系统框架及原理
1.文本分析在搜索过程中需要对文本进行处理,比如对查询的分析以及建立索引时对文档内容的分析,我们将这部分内容称作“Query理解”。其主要包括Query预处理、Query纠错、Query扩展、Query归一、联想词、Query分词、意图识别、term重要性分析、敏感Query识别、时效性识别等。如下 ...
Read more
智能搜索和推荐系统第四章-2--搜索系统框架及原理
1.搜索系统的框架1.1基本框架 搜索系统通常由信息收集、信息存储、信息扩展及搜索计算4部分组成。搜索系统的具体结构上图所示。 (1)信息收集该部分包括但不限于爬虫和线下导入。对于网络爬虫部分,该组件的主要功能是收集全网实时/延时数据(这取决于搜索引擎的应用场景),并对收集的数据进行简单处理,如去重 ...
Read more
智能搜索和推荐系统第三章--知识图谱
仅用于学习!!! 1.介绍搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,将用户检索到的相关信息展示给用户,为用户提供检索服务。搜索引擎包括4个接口,分别是搜索器、索引器、检索器和用户接口。 搜索器的功能是在互联网中漫游,负责发现和搜集信息。 索引器的 ...
Read more
智能搜索和推荐系统第二章--搜索系统
仅用于学习!!! 1.介绍搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,将用户检索到的相关信息展示给用户,为用户提供检索服务。搜索引擎包括4个接口,分别是搜索器、索引器、检索器和用户接口。 搜索器的功能是在互联网中漫游,负责发现和搜集信息。 索引器的 ...
Read more
No Answer is Better Than Wrong Answer A Reflection Model for Document Level Machine Reading Comprehension 笔记
论文链接AbstractNatural Questions(NQ)数据集给机器阅读理解带来了新的挑战:答案不仅具有不同的粒度(长、短),而且具有更丰富的类型(包括无答案、是/否、单span和多span)。本文针对这一挑战,系统地处理了各种类型的答案。特别是,我们提出了一种新的方法称为Reflecti ...
Read more