1、什么是scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。Scrapy 使用了Twisted['tw?st?d]异步网络框架 文档地址：https://scrapy-chs.readthedocs.io/zh_CN/1.0 ...
分类：
其他好文 时间：
2020-06-13 21:00:14
阅读次数：
48
Ubuntu安装python3 sudo apt install python3 sudo apt install python3-pip 1.安装软件 1.解压软件 unzip 2. ./configure 使用./configure出错执行下面命令 autoreconf -iv 自动生成conf ...
分类：
系统相关 时间：
2020-06-13 20:58:26
阅读次数：
72
frida是一个轻量级别的hook框架。 frida由两部分组成：一部分是运行在系统上的交互工具frida CLI，另一部分是运行在目标机器上的代码注入工具frida-server。 推荐使用python3来安装frida。 github项目：https://github.com/frida/fri ...
分类：
其他好文 时间：
2020-06-13 19:02:24
阅读次数：
265
字典 一.字典 列表可以存储大量的数据类型，但是只能按照顺序存储，数据与数据之间关联性不强。 所以咱们需要引入一种容器型的数据类型，解决上面的问题，这就需要dict字典。 字典(dict)是python中唯?的?个映射类型.他是以括起来的键值对组成. 在dict中key是 唯?的.在保存的时候, 根 ...
分类：
其他好文 时间：
2020-06-13 00:10:24
阅读次数：
77
整型和布尔值 一. 整型(int) 整型在Python中的关键字用int来表示; 整型在计算机中是用于计算和比较的 在python3中所有的整数都是int类型. 但在python2中如果数据量比较大. 会使用long类型. 在python3中不存在long类型 整数可以进行的操作: 1.1 整数的加 ...
分类：
其他好文 时间：
2020-06-12 22:56:51
阅读次数：
113
import requests def xiaodai(): url = 'http://erge1998.cn/' proxies = { 'http': 'http://149.28.38.64:1081', 'https': 'https://149.28.38.64:1081' } head ...
分类：
编程语言 时间：
2020-06-12 14:20:55
阅读次数：
90
前言 pymsql是Python中操作MySQL的模块，其使用方法和MySQLdb几乎相同。但目前pymysql支持python3.x而后者不支持3.x版本。 本文测试python版本：2.7.11。mysql版本：5.6.24 一、安装 1 pip3 install pymysql 二、使用操作 ...
分类：
数据库 时间：
2020-06-12 12:59:55
阅读次数：
58
起因 ubuntu18.04下默认带的是python3.6，但是因为需求需要升级为python3.7 步骤 安装 sudo apt install python3.7 修改环境变量 修改默认的python3 --> python3.6 为 python3 -->3.7 查看python3 指向 cd ...
分类：
编程语言 时间：
2020-06-12 11:01:31
阅读次数：
178
bytes bytearray python3 中引入两个新类型 str 是字符数据,bytes 和 bytearray 是字节数据,它们都是序列, 可以进行迭代遍历. 它们都能使用 str类型的通用函数,比如 find() replace() islower() 等,但不能使用 str的格式化操作 ...
分类：
编程语言 时间：
2020-06-11 20:07:11
阅读次数：
59
虚拟环境（virtualenv）是个很重要的工具，它能避免项目之间的环境依赖的冲突，因此我们要学会使用虚拟环境，下面是在Windows中创建一个虚拟环境的过程： 1、安装“virtualenv” pip install virtualenv 2、创建虚拟环境 选择你要安装的文件夹，例如“myproj ...
分类：
编程语言 时间：
2020-06-11 16:47:28
阅读次数：
59
