配置好Python3.6和pip3安装EPEL和IUS软件源 安装Python3.6 创建python3连接符 安装pip3 创建pip3链接符 python版本：python3.6，系统：win7 1.pip install crypto; 会安装很多包：chardet, certifi, url ...
分类：
编程语言 时间：
2019-09-05 12:07:04
阅读次数：
103
配置 如果不加这两行，有中文的时候就输入不了 有时候加了这两行，输入中文时会出现乱码，是因为输入法的原因 使用appium做了输入操作之后，如果出现输入法无法唤起，可以在系统设置 语言和输入法 将当前的输入法替换为系统输入法或者其他输入法 Appium1.6.3开始支持识别Toast内容，主要是基于 ...
分类：
移动开发 时间：
2019-09-01 14:53:21
阅读次数：
305
记录一下爬取豆瓣热门专栏的经过，通过这篇文章，你能学会requests，HTMLParser，json的基本使用，以及爬取网页内容的基本思路。 使用模块 1，获取豆瓣首页代码：首先我们需要访问豆瓣页面，获取首页的源码。这里推荐使用第三方库：requests，相比python内置的 urllib 模块 ...
分类：
编程语言 时间：
2019-08-31 17:42:10
阅读次数：
114
import osimport urllib import requests#import wximport time from fake_useragent import UserAgentfrom lxml import etreefrom urllib import request ua = ...
分类：
编程语言 时间：
2019-08-28 12:39:40
阅读次数：
89
说明：这里仅展示在已经获取图片链接后的下载方式，对于爬虫获取链接部分参考前面的文章 1、利用文件读写的方式下载图片 2、urlretrieve()方法 ...
分类：
编程语言 时间：
2019-08-26 21:24:22
阅读次数：
107
现在网上有很多python2写的爬虫抓取网页图片的实例，但不适用新手（新手都使用python3环境，不兼容python2）， 所以我用Python3的语法写了一个简单抓取网页图片的实例，希望能够帮助到大家，并希望大家批评指正。 import urllib.request import re impo... ...
分类：
编程语言 时间：
2019-08-26 09:46:53
阅读次数：
100
urllib.quote('编码坑爹'.decode('gbk').encode('utf-8')) 中文解码decode('gbk')国际编码 encode('utf-8') ...
分类：
Web程序 时间：
2019-08-25 18:10:35
阅读次数：
85
1. requests 模块简介 什么是requests 模块 requests模块是python中原生的基于网络请求的模块，功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。requests模块作用：模拟浏览器发请求。 为什么要使用requests 模块 因为在使用urllib模块的时候， ...
分类：
其他好文 时间：
2019-08-23 00:14:17
阅读次数：
95
urllib基础 urlretrieve() urlretrieve(网址,本地文件存储地址) 直接下载网页到本地 urlcleanup() 清除缓存 info() 查看网页简介 getcode() 输出网页爬取状态码，200为正常，其他都不正常 geturl() 获取当前访问的网页的url 超时设 ...
分类：
编程语言 时间：
2019-08-19 19:31:12
阅读次数：
89
需求：爬取搜狗首页的页面数据 requests模块如何处理携带参数的get请求，返回携带参数的请求 需求:指定一个词条，获取搜狗搜索结果所对应的页面数据 之前urllib模块处理url上参数有中文的需要处理编码，requests会自动处理url编码 发起带参数的get请求 params可以是传字典或 ...
分类：
编程语言 时间：
2019-08-19 19:17:56
阅读次数：
121
