1、安装pyOpenSSL模块 如果flask是在python3环境下安装的，记得切换到python3的虚拟环境 2、上传证书文件到项目根目录，我这里使用的是公网证书文件，也可以自己手动生产自签名证书，网上有很多示例，就不列举了。 3、配置https访问，可以通过三种方法实现 3.1、直接使用fla ...
分类：
编程语言 时间：
2017-12-19 19:27:09
阅读次数：
158
环境：windows10 64bit 需要安装: 1. wheel pip3 install wheel 2. lxml http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 3. PyOpenssl https://pypi.python.org/pypi ...
分类：
其他好文 时间：
2017-11-25 13:00:06
阅读次数：
151
Scrapy 是采用Python 开发的一个快速可扩展的抓取WEB 站点内容的爬虫框架。 Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于 ...
分类：
编程语言 时间：
2017-11-17 11:56:37
阅读次数：
313
爬虫 Scrapy框架，不只是一条命令： pip3 install scrapy，所能完成的。 (所在环境 Python3) Scrapy依赖的库比较多，至少需要依赖库有Twisted ，lxml ，pyOpenSSL 。而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好。 Win ...
分类：
编程语言 时间：
2017-10-25 15:25:45
阅读次数：
226
配置scrapy环境 分别pip install Zope.Interface、Twisted、w3lib、lxml、pyOpenSSL、Scrapy 新建爬虫项目，pycharm运行 我的项目名称为RadioCrawl文件夹为 Paste_Image.png 新建main.pyfrom scrap ...
分类：
其他好文 时间：
2017-10-14 16:50:54
阅读次数：
275
今天想利用Requests库爬取糗事百科站点，写了一个请求，却报错了： 后来参考kinsomy的博客，在cmd中pip install pyopenssl ndg-httpsclient pyasn1 后再重新运行，结果ok ...
分类：
编程语言 时间：
2017-08-26 12:36:46
阅读次数：
141
1、安装pyOpenSSL模块pipinstallpyOpenSSL如果flask是在python3环境下安装的，记得切换到python3的虚拟环境2、上传证书文件到项目根目录，我这里使用的是公网证书文件，也可以自己手动生产自签名证书，网上有很多示例，就不列举了。3、配置https访问，可以通过三种方法实现3.1..
分类：
编程语言 时间：
2017-08-22 15:56:12
阅读次数：
834
貌似最新的scrapy已经支持python3，但是错误挺多的，以下为在win7中的安装步骤： 1、首先需要安装Scrapy的依赖包，包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml 其中，twisted和lxml的安装包可以在http://w ...
分类：
编程语言 时间：
2017-06-15 14:11:54
阅读次数：
228
实验室的服务器木有连接外网，无法使用pip进行安装，真正意义上的离线安装需要很多安装依赖包，下载起来很麻烦，而且版本号还不一定对。 另一种方法是利用源代码编译安装，那样也需要安装依赖包，比较麻烦。 经过折腾，我采用的是利用一台可以上外网的PC搭建代理服务器，利用代理服务器进行PIP安装。 搭建代理服 ...
分类：
其他好文 时间：
2017-06-04 12:56:55
阅读次数：
2198
下载集成包链接：http://pan.baidu.com/s/1pKD2zBP 密码：f75b因为没有支持python3的Scrapy,所以这里采用python2.7.9安装步骤：1.安装python2.7（默认安装即可）2.打开“运行”，输入cmd.执行以下命令设置环境变量 C:\Python27... ...
分类：
编程语言 时间：
2017-05-21 23:21:39
阅读次数：
238
