pyspider 的内容选择器默认已经实例化一个pyquery对象，可以直接使用pyquery的api来获取自己需要的内容。 例：html:"<head><title>hello</title></head>" response.doc('head').html()#返回<title>hello</ ...
分类：
其他好文 时间：
2017-11-02 16:13:10
阅读次数：
214
1 response.url final url 2 response.text response 内动，unicode编码 3 response.content 字节表示 4 response.doc Pyquery对象 5 response.json类型 6 response.status_co ...
分类：
其他好文 时间：
2017-11-02 15:52:09
阅读次数：
131
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。官网地址：http ...
分类：
编程语言 时间：
2017-10-16 13:51:51
阅读次数：
208
看各种爬虫文献也有好几天了，总是感觉下不了手，总结一句“提笔忘字，总是因为看的太多而写的太少”。所以从现在开始，把看到的想到的，需要总结的东西慢慢的都沉淀下来，扎扎实实的走好每一步。 先来说这几天遇到的各种坑，好不容易找到了关于pyquery和pyspider的各种资料，准备敲到电脑上试试，结果出现 ...
分类：
其他好文 时间：
2017-09-21 18:12:24
阅读次数：
204
什么是PyQuery?这是一个强大又灵活的网页解析库。如果你觉得写正则太麻烦，如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery,那么,PyQuery将会成为你的最佳实践!#一个简单的例子
frompyqueryimportPyQueryaspq
html=‘‘‘
请在这里输入html代码
‘‘‘
doc=pq(html)#初始化PyQ..
分类：
其他好文 时间：
2017-09-05 00:12:16
阅读次数：
148
取得网页源代码,导入pyquery库 pip3 install pyquery 如果报错的话:python安装pyquery报错error: 'libxml/xmlversion.h' file not found xcode-select --install sudo C_INCLUDE_PATH ...
分类：
其他好文 时间：
2017-08-21 15:56:18
阅读次数：
164
1.参考 pyspider作者官网： pyspider 爬虫教程（一）：HTML 和 CSS 选择器 pyspider 爬虫教程（二）：AJAX 和 HTTP pyspider 爬虫教程（三）：使用 PhantomJS 渲染带 JS 的页面 CssFullText - CSS选择器 说明 其他： 用 ...
分类：
其他好文 时间：
2017-07-20 12:47:29
阅读次数：
310
初始化 在这里介绍四种初始化方式。 （1）直接字符串 pq 参数可以直接传入 HTML 代码，doc 现在就相当于 jQuery 里面的 $ 符号了。 （2）lxml.etree 可以首先用 lxml 的 etree 处理一下代码，这样如果你的 HTML 代码出现一些不完整或者疏漏，都会自动转化为完 ...
分类：
其他好文 时间：
2017-07-16 16:34:24
阅读次数：
197
# -*- coding: utf-8 -*- import scrapy import requests from daomu.items import DaomuItem from pyquery import PyQuery as pq class DaomuspiderSpider(scra... ...
分类：
其他好文 时间：
2017-06-29 11:26:25
阅读次数：
264
1 # -*- coding: utf-8 -*- 2 import scrapy 3 from pyquery import PyQuery as pq 4 5 from zolphone.items import ZolphoneItem 6 7 8 class PhoneSpider(scra... ...
分类：
移动开发 时间：
2017-06-24 09:54:58
阅读次数：
246
