第1章　搜索引擎及其技术架构　

　1.1　搜索引擎为何重要　

　　1.1.1　互联网的发展　

　　1.1.2　商业搜索引擎公司的发展　

　　1.1.3　搜索引擎的重要地位　

　1.2　搜索引擎技术发展史　

　　1.2.1　史前时代：分类目录的一代　

　　1.2.2　第一代：文本检索的一代　

　　1.2.3　第二代：链接分析的一代　

　　1.2.4　第三代：用户中心的一代　

　1.3　搜索引擎的3个目标　

　1.4　搜索引擎的3个核心问题　

　　1.4.1　3个核心问题　

　　1.4.2　与技术发展的关系　

　1.5　搜索引擎的技术架构　

第2章　网络爬虫　

　2.1　通用爬虫框架　

　2.2　优秀爬虫的特性　

　2.3　爬虫质量的评价标准　

　2.4　抓取策略　

　　2.4.1　宽度优先遍历策略（Breath　First）　

　　2.4.2　非完全PageRank策略（Partial　PageRank）　

　　2.4.3　OCIP策略（Online　Page　Importance　Computation）　

　　2.4.4　大站优先策略（Larger　Sites　First）　

　2.5　网页更新策略　

　　2.5.1　历史参考策略　

　　2.5.2　用户体验策略　

　　2.5.3　聚类抽样策略　

　2.6　暗网抓取（Deep　Web　Crawling）　

　　2.6.1　查询组合问题　

　　2.6.2　文本框填写问题　

　2.7　分布式爬虫　

　　2.7.1　主从式分布爬虫（Master-Slave）　

　　2.7.2　对等式分布爬虫（Peer　to　Peer）　

第3章　搜索引擎索引　

　3.1　索引基础　

　　3.1.1　单词—文档矩阵　

　　3.1.2　倒排索引基本概念　

　　3.1.3　倒排索引简单实例　

　3.2　单词词典　

　　3.2.1　哈希加链表　

　　3.2.2　树形结构　

　3.3　倒排列表（Posting　List）　

　3.4　建立索引　

　　3.4.1　两遍文档遍历法（2-Pass　In-Memory　Inversion）　

　　3.4.2　排序法（Sort-based　Inversion）　

　　3.4.3　归并法（Merge-based　Inversion）　

本文档共3页，可免费阅读3页，剩余0页请下载后阅读。继续阅读 

1、本文档共:3页，可阅读全部内容。

2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。

3、本文档由内容提供方上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重标题与内容不符之情形，可联系本站下载客服投诉处理。