安装python安装pythonwget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz
tar zxvf Python-2.7.11.tgz
cd Python-2.7.11
./configure –prefix=/usr/local
make && make altinstall
检查Python版本
pyth...
分类：
数据库 时间：
2016-05-12 13:35:09
阅读次数：
588
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。
首先先要回答一个问题。
问：把网站装进爬虫里，...
分类：
编程语言 时间：
2016-05-12 13:28:57
阅读次数：
204
scrapy安装 1，安装pywin32，选择对应的版本 2，安装twisted，选择对应版本 3，安装zope.interface，测试安装是否成功import zope.interface 4，安装pyopenssl，验证安装情况import OpenSSL 5，安装lxml 6，安装easyt ...
分类：
编程语言 时间：
2016-05-10 23:23:28
阅读次数：
313
最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研 网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了javascript网络访问,然后将服务器返回的数据插入网页,无法通过网址直接获取对应页的的页面数据 ...
分类：
编程语言 时间：
2016-05-09 15:53:53
阅读次数：
5523
自己瞎捣鼓了一段时间python，数据来源新浪财经，每天收盘启动爬虫抓取一遍 ，web 端呈现.技术点:scrapy apscheduler sqlalchemy mysql flask nginx 部署在阿里云上：http://139.196.185.215/ ...
分类：
其他好文 时间：
2016-05-02 18:19:53
阅读次数：
362
上一篇咱们讲解了Scrapy的工作机制和如何使用Scrapy爬取美女图片，而今天接着讲解Scrapy爬取美女图片，不过采取了不同的方式和代码实现，对Scrapy的功能进行更深入的运用。 在学习Scrapy官方文档的过程中，发现Scrapy自身实现了图片和文件的下载功能，不需要咱们之前自己实现图片的下 ...
分类：
其他好文 时间：
2016-04-30 20:58:59
阅读次数：
296
特别注意[坑]： python版本一定大于 2.7.5,scrapy python 必须2.7以上centos 6.X系列 系统默认安装的python是2.6.6 ,本人折腾了很久2.7.3 在这里升级http://blog.csdn.net/highball/article/details/101 ...
分类：
其他好文 时间：
2016-04-30 11:34:31
阅读次数：
173
曾独立完成公司的全站式工程，使用服务器apache2 + php 、 爬虫python + scrapy 、web前端 html5 css3 js 、安卓端使用框架ionic iOS端使用原生objective c。 数据库mysql。 现在和哥们几个做一个独立项目，因为是第二次做全站式程序员，这一 ...
分类：
其他好文 时间：
2016-04-29 23:34:58
阅读次数：
163
哪有那么复杂！scrapy安装与快速上手——爬取豆瓣9分榜单写在开头现在scrapy的安装教程都明显过时了，随便一搜都是要你安装一大堆的依赖，什么装python（如果别人连python都没装，为什么要学scrapy….）wisted， zope interface，pywin32………现在scrapy的安装真的很简单的好不好！代码我放github上了，可以参考：
https://github.co...
分类：
其他好文 时间：
2016-04-29 19:59:09
阅读次数：
288
并行系统和管道系统很类似，在计算机科学中，我们用队列符号来代表队列和正被处理的元素（图1的左边部分）。排队系统的一个基础的定律就是Little定律，即系统达到平衡时，系统中元素的个数（N）等于系统的吞吐量乘以总的排队时间（S），N = T · S。
对于管道的几何问题也有一个相似的规律（图1的右边部分）。管道的容量（V）等于管道的长度（L）乘以它的截面积（A），V = L · A。如果用长度代表服...
分类：
其他好文 时间：
2016-04-29 18:19:58
阅读次数：
280
