介于上一篇的java实现网络爬虫基础之上，这一篇的思想是将网络收集的数据保存到HDFS和数据库（Mysql）中；然后用MR对HDFS的数据进行索引处理，处理成倒排索引；搜索时先用HDFS建立好的索引来搜索对应的数据ID，根据ID从数据库中提取数据，呈现到网页上。 这是一个完整的集合网络爬虫、数据库、 ...
分类：
Web程序 时间：
2017-08-17 00:50:40
阅读次数：
367
1.什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。 比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张 ...
分类：
编程语言 时间：
2017-08-16 10:00:00
阅读次数：
145
一、Python lxml的基本应用 1.使用lxml.etree和lxml.cssselect解析html源码 2.cleaning up html 使用html清理器，可以移除一些嵌入的脚本、标签、CSS样式等html元素，这样可以提高搜索效率。 二、Python lxml的实际应用 1.解析网 ...
分类：
编程语言 时间：
2017-08-06 18:16:32
阅读次数：
228
一、随时随地爬取一个网页下来 怎么爬取网页？对网站开发了解的都知道，浏览器访问Url向服务器发送请求，服务器响应浏览器请求并返回一堆HTML信息，其中包括html标签，css样式，js脚本等。我们之前用的是Python标准基础库Urllib实现的， 现在我们使用Python的Requests HTT ...
分类：
编程语言 时间：
2017-08-01 11:18:54
阅读次数：
224
# Python 爬虫基础知识 ● Python 爬虫基础知识 安装爬虫库 beautifulsoup4 pip install beautifulsoup4 lxml HTML 解析器 pip install html5lib html5lib pip install html5lib ● 使用库 ...
分类：
编程语言 时间：
2017-07-27 09:35:31
阅读次数：
158
一、前言 前段时间尝试爬取了网易云音乐的歌曲，这次打算爬取QQ音乐的歌曲信息。网易云音乐歌曲列表是通过iframe展示的，可以借助Selenium获取到iframe的页面元素， 而QQ音乐采用的是异步加载的方式，套路不一样，这是主流的页面加载方式，爬取有点难度，不过也是对自己的一个挑战。 二、Pyt ...
分类：
编程语言 时间：
2017-07-04 20:22:46
阅读次数：
298
爬虫基础：requests以及BeautifulSoup模块 http://www.cnblogs.com/wupeiqi/articles/6283017.html 爬虫性能相关以及Scrapy框架 http://www.cnblogs.com/wupeiqi/articles/6283017.h ...
分类：
其他好文 时间：
2017-07-03 12:09:29
阅读次数：
164
? URL的含义： 统一资源定位符，结构： URL的格式由三部分组成： ①第一部分是协议(或称为服务方式)。 ②第二部分是存有该资源的主机IP地址(有时也包括端口号)。 ③第三部分是主机资源的具体地址，如目录和文件名等。 关于URL和URI的区别：https://www.zhihu.com/ques ...
分类：
编程语言 时间：
2017-06-20 16:17:35
阅读次数：
107
Demo1:urllib使用 Demo2:抓取图片 ...
分类：
编程语言 时间：
2017-06-15 14:09:16
阅读次数：
237
经组内成员讨论，我们决定每周四和周日汇报个人学习进度和项目进展，汇报内容会在各自博客上更新。本博客仅做简单汇总。 最近这段时间，组内成员在学习原SDUOJ的前端框架和Python爬虫基础，并且可以根据国内OJ进行初步的爬取和模拟登录等等。 下面是各成员学习进度和成果： http://blog.csd ...
分类：
其他好文 时间：
2017-05-11 20:34:38
阅读次数：
181
