《现代信息检索》第三章 信息检索建模 |
您所在的位置：网站首页 › 信息检索的分类 › 《现代信息检索》第三章 信息检索建模 |
《现代信息检索》第三章 信息检索建模
|
文章目录
第三章 信息检索建模3.1.2 信息检索模型描述3.1.3 信息检索模型的分类
3.2 经典信息检索3.2.1 基本概念3.2.2 布尔模型3.2.3 项权重TF-IDF权重
第三章 信息检索建模
3.1.2 信息检索模型描述
一个信息检索模型是一个四元组[D, Q, F, R(qi, dj)]: D：是文档集中文档的逻辑视图的集合。Q：是用户信息需求的逻辑视图组成的集合。这些表达称为查询。F：是一个对文档、查询及其关系建模的框架，例如，集合与布尔关系、向量和线性代数运算、样本空间与概率分布。R(qi, dj)：是排序函数，对查询表达式qi属于Q和文档表达式dj属于D赋予一个实数。排序函数定义了关于查询qi的文档次序。 3.1.3 信息检索模型的分类信息检索模型分类：基于文本、基于链接和基于多媒体对象的模型。 无结构文本经典模型：布尔模型、向量模型、概率模型。 3.2 经典信息检索 3.2.1 基本概念 索引项或者关键词索引项或者关键字：指的是表示文档中的关键概念或者主题的一个词或者一组词。 t表示文档集中索引项的数量，ki是某个索引项。V=(k1, k2, …, kt)V是文档集中所有不同索引的集合。V是文档集的词汇表，词汇表的大小是t。 文档和查询的表示形式索引共现模式，一个文档集中索引共现模式有2^t。例如[1, 0, …, 0]或者[1, 1, …, 1]一共2^t个，每个索引项共现模式称为一个索引项合取分量。 词袋法（bag of words）：就是用索引项的合取分量对查询和文档进行表示。 项-文档矩阵 d1d2k1f1,1f1,2k2f2,1f2,2k3f3,1f3,2ki表示的是索引项，dj表示文档，fi,j表示ki在文档dj中出现的频率。 文档的逻辑视图 3.2.2 布尔模型布尔模型(Boolean Model)是一个基于集合论和布尔代数的简单模型。 布尔模型根据索引项合取向量进行判断，使用非(not)，与(and)，或(or)。 即使当文档集的词汇表包含不在查询中的词，这种方法也是可以的。 布尔模型判定每篇文档要么相关，要么不相关，不存在部分相关。 3.2.3 项权重 文档集两个索引项的相关性设M=[mi,j]是一个t行N列的项-文档矩阵，其中mi,j=wi,j，即矩阵中的每一元素ij由项-文档二元组(ki, dj)的权重给出。给定Mt是矩阵M的转置，矩阵C=M·Mt是一个项间相关性矩阵。每一元素cu,v属于C表达了索引项ku和kv之间的关系。 TF-IDF权重TF项频(Term Frequency, TF) 反比文档频率(Inverse Document Frequency, IDF) TF tf_{i,j} = f_{i,j} tf_{i,j} = 1 + logf_{i,j}——f_{i,j}>0 tf_{i,j} = 0——others
穷尽性和特异性 IDF = log(N/n_i)
这里没怎么搞懂。 后面会继续写 |
【本文地址】
今日新闻 |
推荐新闻 |