python 擅长的领域 WEB开发Django\pyramid\Tornado网络编程Twisted\Requests\Scrapy\Paramiko科学运算SciPy\Pandas\IpythonGUI图形开发wxPython\PyQT\Kivy运维自动化OpenStack\SaltStack\ ...
分类：
编程语言 时间：
2017-04-08 17:25:27
阅读次数：
242
Scrapy安装 Scrapy的安装有多种方式，它支持Python2.7版本及以上或者是Python3.3版本及以上。下面来说py3环境下，scrapy的安装过程。 Scrapy依赖的库比较多，至少需要依赖库Twisted 14.0，lxml 3.4，pyOpenSSL 0.14。在不同平台环境又不 ...
分类：
Windows程序 时间：
2017-04-08 14:53:25
阅读次数：
1340
Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['tw?st?d](其主要对手 ...
分类：
其他好文 时间：
2017-03-06 01:03:44
阅读次数：
524
本篇是模仿PYTHON TWISTED写一个FINGER示例。 从最简单的链接到通过接收字符串返回不同的内容 1 最简单的链接 2 接收ACCEPT请求 然后丢弃 3 接收连接发送过来的内容 显示 然后关闭 4 接收连接发送内容 并返回指定内容 5 接收发送的内容 并在记录中查找是否有该内容的记录 ...
分类：
其他好文 时间：
2017-03-05 20:48:51
阅读次数：
174
reactor、protocol 这两个类都在 twisted.internet 命名空间中 reactor对象是Twisted编程当中的第一步，它就是一个反应器，专门负责与服务端的连接以及监听与服务器交互，一旦与服务端连接上以后，即可调用reactor.run()开始监听了，服务器有新的任务或请求 ...
分类：
其他好文 时间：
2017-03-04 19:05:52
阅读次数：
190
Twisted是一个事件驱动的网络框架。 最近开始学习了解Twisted,首先肯定要安装twisted模块。 但是在cmd下执行:pip install twisted 出现了下面的问题:"error:Microsoft Visual C++ 10.0 is required (Unable to ...
分类：
编程语言 时间：
2017-01-29 10:53:56
阅读次数：
227
Python擅长领域web开发djangoflaskweepy等网络编程科学运算GUI图形开发运维自动化python23区别：Unicodesupport：python3可以直接写中文Python2不会太更新了2print‘’3print（）库改名Twisted目前还不支持3.0pythonhello.py表示hello.py脚本有Python解释器来执行如果想类似执..
分类：
编程语言 时间：
2016-12-25 21:17:12
阅读次数：
231
一、简介 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 二、requests Python标准库中提供了：urllib、urllib2、ht ...
分类：
其他好文 时间：
2016-12-24 19:39:47
阅读次数：
150
在Python3.5下安装和测试Scrapy爬网站 1. 引言 Scrapy框架结构清晰，基于twisted的异步架构可以充分利用计算机资源，是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。 2. 安装Twisted 2.1 同安装Lxml库 (参考《为编写网络爬虫程序安装Python ...
分类：
其他好文 时间：
2016-12-05 07:44:01
阅读次数：
306
也许你听说过全栈工程师，他们善于设计系统架构，精通数据库建模、通用网络协议、后端并发处理、前端界面设计，在学术研究或工程项目上能独当一面。通过对Python及其周边Web框架的学习和实践，你就可以成为这样的全能型人才。今天要推荐的就是这本书，内容涉及四种主流的Python..
分类：
编程语言 时间：
2016-11-15 01:35:46
阅读次数：
566
