分布式爬虫 安装：pip3 install scrapy-redis 源码：D:\python3.6\Lib\site-packages\scrapy_redis 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的ur ...
分类：
其他好文 时间：
2019-03-25 01:18:10
阅读次数：
151
在了解redis之前先了解一下python两种序列化方式: python用于序列化的两个模块 json：用于字符串和Python数据类型间进行转换 pickle: 用于python特有的类型和python的数据类型间进行转换 json提供四个功能：dumps,dump,loads,load pick ...
分类：
编程语言 时间：
2019-01-31 16:56:08
阅读次数：
185
python文件操作 目录： 1.文件读写 #文件两种类型(文本、二进制) 读写文本文件:read 全部读出，read(n) 一次读n w:写 r:读 读写二进制文件(案例：读取图片、视频拷贝(边读边写)):rb 读 、wb 写、ab 追加 2.文件与目录的操作(os、shutil模块) 查看当前目 ...
分类：
编程语言 时间：
2019-01-28 14:07:39
阅读次数：
272
1.1模块 什么是模块： 在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。 为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，在python中。一个.py文件就称为一个模块（Module） 使用模块的好 ...
分类：
编程语言 时间：
2018-12-23 20:48:55
阅读次数：
179
用于序列化的两个模块 json，用于字符串 和 python数据类型间进行转换 pickle，用于python特有的类型 和 python的数据类型间进行转换 Json模块提供了四个功能：dumps、dump、loads、load pickle模块提供了四个功能：dumps、dump、loads、l ...
分类：
编程语言 时间：
2018-12-13 12:45:21
阅读次数：
214
把内存数据转换字符叫序列化把字符转成内存数据类型反序列化 json，用于字符串 和 python数据类型间进行转换dumps 和loads 匹配使用 dumps 只能转成字符串，loads只能从字符串转换成数据类型。只能保存在内存里。 dump 转成字符串并写入文件， load,读文件并转成数据类型 ...
分类：
Web程序 时间：
2018-12-07 23:23:29
阅读次数：
249
序列化 把对象打散成二进制字节 bytes 1. pickle 把一个对象转化成bytes写入到文件 pickle.dumps() 把对象转换成bytes pickle.loads() 把bytes转化成对象 pickle.dump() 把对象转换成bytes. 写入到文件 pickle.load( ...
分类：
Web程序 时间：
2018-11-17 17:48:18
阅读次数：
206
json序列化 json是Python，Java等语言通用的，但是只能序列化简单的数据类型 json反序列化 pickle序列化 只有Python内部支持pickle pickle反序列化 注意：虽然可以dump多次，但是只能load一次，所以只需要dump一次 ...
分类：
Web程序 时间：
2018-10-31 23:20:50
阅读次数：
254
pickle提供了一个简单的持久化功能，可以将对象以文件的形式存放到磁盘pickle模块只能在python上使用，python中所有的数据类型【list,str,num,tuple,dict,set,对象】pickle序列化的数据，只是给计算机识别，区别于乱码序列化：将对象写到磁盘反序列化：将对象从... ...
分类：
其他好文 时间：
2018-10-09 00:44:57
阅读次数：
214
1、pickle 1.1、简介 pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。 1.2、可以被pickle序列化的类型 None, True, False intergers(整数), floating point numbers(浮点数), complex numbe ...
分类：
编程语言 时间：
2018-10-01 12:26:05
阅读次数：
146
