网络爬虫：就是抓取网页数据的程序。 网页三大特征： 1. 网页都有自己的URL（统一资源定位符）来进行定位，每个网页都有一个唯一的URL2. 网页都用HTML（超文本标记语言）来描述页面信息。3. 网页都用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。 爬虫的设计思路： 1. 首先设 ...
分类：
其他好文 时间：
2018-02-13 22:53:48
阅读次数：
248
REST API：使用 Python，Flask，Flask-RESTful 和 Flask-SQLAlchemy 构建专业的 REST API https://www.udemy.com/rest-api-flask-and-python/ 算法交易：用于财务分析和算法交易的Python，主要学习 ...
分类：
编程语言 时间：
2018-02-12 16:48:48
阅读次数：
246
Python处理HTML转义字符 在抓网页数据经常遇到例如>或者 这种HTML转义符，抓到字符串里很是烦人。 比方说一个从网页中抓到的字符串 p ='<abc>' 用Python可以这样处理： #这样就得到了txt= '<abc>' 如果还想转回去，可以这样： #这样又回 ...
分类：
编程语言 时间：
2018-01-28 17:26:02
阅读次数：
551
一、个人学期总结 本学期从一开始便接触Python语言，感觉Python还是比较容易上手的。从一开始简单的几何图形制作到最后网页数据库的链接实现，这个过程其实不算长，不过也因此最后作业的完成也比较简单。如果想从事这方面的工作，这学期所学的知识最多也只能是算基础，让自己在未来想深入学习Python有能 ...
分类：
其他好文 时间：
2018-01-06 14:29:26
阅读次数：
226
转载请注明出处！ 原文链接：http://blog.csdn.net/zgyulongfei/article/details/7909006 有时候由于种种原因，我们需要采集某个网站的数据，但由于不同网站对数据的显示方式略有不同！ 本文就用Java给大家演示如何抓取网站的数据：（1）抓取原网页数据； ...
分类：
编程语言 时间：
2017-12-31 10:58:56
阅读次数：
154
在很多行业中，要对行业数据进行分类汇总，及时分析行业数据，对于公司未来的发展，有很好的参照和横向对比。所以，在实际工作，我们可能要遇到数据采集这个概念，数据采集的最终目的就是要获得数据，提取有用的数据进行数据提取和数据分类汇总。 很多人在第一次了解数据采集的时候，可能无从下手，尤其是作为一个新手，更 ...
分类：
编程语言 时间：
2017-12-31 10:57:34
阅读次数：
151
原文地址https://www.cnblogs.com/xiaoMzjm/p/3894805.html 【本文介绍】 爬取别人网页上的内容，听上似乎很有趣的样子，只要几步，就可以获取到力所不能及的东西，例如呢？例如天气预报，总不能自己拿着仪器去测吧！当然，要获取天气预报还是用webService好。 ...
分类：
编程语言 时间：
2017-12-31 10:51:22
阅读次数：
180
1.jsp对比Servlet Servlet 优点：逻辑处理方便 缺点：页面表现麻烦 jsp 优点：页面表现方便 缺点：逻辑处理麻烦 2.jsp简述 jsp是一种动态网页技术（动态生成网页数据，而不是有动态效果的网页） Jsp就是servlet, 所以jsp也是java类，通过jsp引擎把jsp转译 ...
分类：
Web程序 时间：
2017-12-29 20:01:44
阅读次数：
169
网络爬虫的基本工作流 1）首先选取url 2）将urll放到待抓取的url队列中 3）从待抓取url队列中读取url 》解析dns 》获取主机IP--》下载对应的网页 》存储到已经下载的网页库中 》将url放到已经抓取的url队列中 4）分析已经抓取的url队列中的url 》重已经下载的网页数据中提 ...
分类：
其他好文 时间：
2017-12-10 21:28:44
阅读次数：
128
Octoparse是国内盛行的数据采集器八爪鱼的小弟
无需编码，简单易懂的数据采集器，还能采集到国外被ban网站的数据。
分类：
Web程序 时间：
2017-11-21 19:04:19
阅读次数：
2921
