介绍代理池的维护 一、准备工作 安装redis数据库并启动服务，另外还需安装atihttp,requests, redis-py,pyquery,flask 二、代理池的架构 分为4个模块：存储模块，获取模块，检测模块，借口模块、 1、存储模块：使用Redis的有序集合，用来做代理的去重和状态标识， ...
分类：
其他好文 时间：
2018-08-10 01:14:51
阅读次数：
216
import requests import json import time from pyquery import PyQuery import pandas as pd from collections import OrderedDict import multiprocessing imp... ...
分类：
其他好文 时间：
2018-08-03 18:47:11
阅读次数：
183
官方学习文档：http://pyquery.readthedocs.io/en/latest/api.html 一、什么是PyQuery? 答：强大有灵活的网页解析库，模仿jQuery实现。如果你觉得正则表达式写起来太麻烦，如果你觉的BeautifulSoup语法太难记，如果你熟悉jQuery的语法 ...
分类：
编程语言 时间：
2018-08-03 01:01:35
阅读次数：
260
import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from sele... ...
分类：
其他好文 时间：
2018-07-29 17:50:40
阅读次数：
184
from pyquery import PyQuery as pq html = """ one two three four five """ # 直接返回所有匹配的元素（html格式） 还会自动补全 doc = pq(html) # 可以传入网址以及本地文件 # print(doc('... ...
分类：
其他好文 时间：
2018-07-27 16:59:04
阅读次数：
128
内容简介 · · · · · · 本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实 ...
分类：
编程语言 时间：
2018-07-24 13:13:56
阅读次数：
803
爬虫性能相关 Python爬虫番外篇之Cookie和Session Python爬虫番外篇之关于登录 python爬虫番外篇（一）进程，线程的初步了解 爬虫性能相关 Python爬虫番外篇之Cookie和Session Python爬虫番外篇之关于登录 python爬虫番外篇（一）进程，线程的初步了 ...
分类：
编程语言 时间：
2018-07-21 14:41:04
阅读次数：
146
Pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。GitHub：https://github.com/gawel/pyqueryPyPI：https://pypi.python.org/pypi/pyquery官方文档：h ...
分类：
其他好文 时间：
2018-07-21 12:14:01
阅读次数：
437
ajax爬取情况 有时候我们在用 Requests 抓取页面的时候，得到的结果可能和在浏览器中看到的是不一样的，在浏览器中可以看到正常显示的页面数据，但是使用 Requests 得到的结果并没有，这其中的原因是 Requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是页面又经过 Ja ...
分类：
编程语言 时间：
2018-07-11 22:50:19
阅读次数：
207
BeautifuSoup和Pyquery解析库方法比较 1.对象初始化： BeautifySoup库： 1 from bs4 import BeautifulSoup 2 3 html = 'html string......' 4 soup = BeautifulSoup(html, 'lxml' ...
分类：
编程语言 时间：
2018-07-02 13:05:00
阅读次数：
339
