百度云免费下载地址在最下面 ↓ ↓ ↓ ↓

内容简介 ：《自己动手写网络爬虫》介绍了网络爬虫开发中的关键问题与java实现。主要包括从互联网获取信息与提取信息和对web信息挖掘等内容。《自己动手写网络爬虫》在介绍基本原理的同时注重辅以具体代码实现来帮助读者加深理解，书中部分代码甚至可以直接使用。《自己动手写网络爬虫》适用于有java程序设计基础的开发人员。同时也可以作为计算机相关专业本科生或研究生的参考教材。

作者简介 ：罗刚，计算机软件硕士，毕业于吉林工业大学。2005年创立北京盈智星科技发展有限公司，2008年联合创立上海数聚软件公司。猎兔搜索创始人，当前猎兔搜索在北京和上海以及石家庄均设有研发部。带领猎兔搜索技术开发团队先后开发出猎兔中文分词系统、猎兔文本挖掘系统，智能垂直搜索系统以及网络信息监测系统等,实现互联网信息的采集、过滤、搜索和实时监测，其开发的搜索软件日用户访问量上万次以上。

作品目录 ：

第1章 全面剖析网络爬虫 3

1.1 抓取网页

1.3.3 使用berkeley db构建爬虫队列示例

1.1.1 深入理解url

1.3.4 使用布隆过滤器构建visited表

1.1.2 通过指定的url抓取网页内容

1.3.5 详解heritrix爬虫队列

1.1.3 java网页抓取示例

1.4 设计爬虫架构 .

1.1.4 处理http状态码

1.4.1 爬虫架构

1.2 宽度优先爬虫和带偏好的爬虫

1.4.2 设计并行爬虫架构

1.2.1 图的宽度优先遍历

1.4.3 详解heritrix爬虫架构

1.2.2 宽度优先遍历互联网

1.5 使用多线程技术提升爬虫性能

1.2.3 java宽度优先爬虫示例

1.5.1 详解java多线程

1.2.4 带偏好的爬虫

1.5.2 爬虫中的多线程

1.2.5 java带偏好的爬虫示例

1.5.3 一个简单的多线程爬虫实现

1.3 设计爬虫队列

1.5.4 详解heritrix多线程结构

1.3.1 爬虫队列

1.6 本章小结

1.3.2 使用berkeley db构建爬虫队列

第2章 分布式爬虫 69

2.1 设计分布式爬虫

2.4.2 开源bigtable——hbase

2.1.1 分布式与云计算

2.5 google的成功之道——mapreduce算法

2.1.2 分布式与云计算技术在爬虫中的应用——浅析google的云计算架构

2.5.1 详解mapreduce算法

2.2 分布式存储

2.5.2 mapreduce容错处理

2.2.1 从ralation_db到key/value存储

2.5.3 mapreduce实现架构

2.2.2 consistent hash算法

2.5.4 hadoop中的mapreduce简介

2.2.3 consistent hash代码实现

2.5.5 wordcount例子的实现

2.3 google的成功之道——gfs

2.6 nutch中的分布式

2.3.1 gfs详解

2.6.1 nutch爬虫详解

2.3.2 开源gfs——hdfs

2.6.2 nutch中的分布式

2.4 google网页存储秘诀——bigtable

2.7 本章小结

2.4.1 详解bigtable

第3章 爬虫的“方方面面”121

3.1 爬虫中的“黑洞”

3.2.3 理解限定爬虫

3.2 限定爬虫和主题爬虫

3.2.4 java限定爬虫示例

3.2.1 理解主题爬虫

3.3 有“道德”的爬虫

3.2.2 java主题爬虫

3.4 本章小结

第4章 “处理”html页面 159

4.1 征服正则表达式

4.3 抽取正文

4.1.1 学习正则表达式

4.4 从javascript中抽取信息

4.1.2 java正则表达式

4.4.1 javascript抽取方法

4.2 抽取html正文

4.4.2 javascript抽取示例

4.2.1 了解htmlparser

4.5本章小结

4.2.2 使用正则表达式抽取示例

第5章 非html正文抽取 201

5.1 抽取pdf文件

5.2.2 使用poi抽取word示例

5.1.1 学习pdfbox

5.2.3 使用poi抽取ppt示例

5.1.2 使用pdfbox抽取示例

5.2.4 使用poi抽取excel示例

5.1.3 提取pdf文件标题

5.3 抽取rtf 5.3.1 开源rtf文件解析器

5.1.4 处理pdf格式的公文

5.3.2 实现一个rtf文件解析器

5.2 抽取office文档

5.3.3 解析rtf示例

5.2.1 学习poi

5.4 本章小结

第6章 多媒体抽取 231

6.1 抽取视频

6.2 音频抽取

6.1.1 抽取视频关键帧

6.2.1 抽取音频

6.1.2 java视频处理框架

6.2.2 学习java音频抽取技术

6.1.3 java视频抽取示例

6.3 本章小结

第7章去掉网页中的“噪声” 257

7.1 “噪声”对网页的影响

7.3 利用“视觉”消除“噪声”

7.2 利用“统计学”消除“噪声”

7.3.1 “视觉”与“噪声”

7.2.1 网站风格树

7.3.2 “视觉去噪”java实现

7.2.2“统计学去噪”java实现

7.4 本章小结

第8章 分析web图 283

8.1 存储web“图”

8.4 pagerank的兄弟hits

8.2 利用web“图”分析链接

8.4.1 深入理解hits算法

8.3 google的秘密——pagerank

8.4.2 hits算法的java实现

8.3.1 深入理解pagerank算法

8.4.3 应用hits进行链接分析

8.3.2 pagerank算法的java实现

8.5 pagerank与hits的比较

8.3.3 应用pagerank进行链接分析

8.6 本章小结

第9章 去掉重复的“文档” 317

9.1 何为“重复”的文档

9.4 simhash排重

9.2 去除“重复”文档——排重

9.4.1 理解simhash

9.3 利用“语义指纹”排重

9.4.2 simhash排重的java实现

9.3.1 理解“语义指纹”

9.5 分布式文档排重

9.3.2 “语义指纹”排重的java实现

9.6 本章小结

第10章 分类与聚类的应用 333

10.1 网页分类 10.1.1 收集语料库

10.2 网页聚类

10.1.2 选取网页的“特征”

10.2.1 深入理解dbscan算法

10.1.3 使用支持向量机进行网页分类

10.2.2 使用dbscan算法聚类实例

10.1.4 利用url地址进行网页分类

10.3 本章小结

10.1.5 使用adaboost进行网页分类

这是前些天刚看完的书，感觉内容全面而且易懂，书里有很多例子供参考，挺实用的，所以分享给大家，一起学习学习~