用到模块有requests,BeautifulSoup4,lxml(BeautifulSoup基于这个解析，据说速度会快很多)，re(正则ps.只用到了一个compile函数) 介绍下思路: 创建Img文件夹，解析html标题为文件夹名称（创建在Img文件夹下）,利用Firefox模块Firehug ...
分类：
编程语言 时间：
2017-09-17 17:31:43
阅读次数：
201
Beautiful Soup库基础知识 Beautiful Soup库是解析xml和html的功能库。html、xml大都是一对一对的标签构成，所以Beautiful Soup库是解析、遍历、维护“标签树”的功能库，只要提供的是标签类型Beautiful Soup库都可以进行很好的解析。 Beaut ...
分类：
其他好文 时间：
2017-09-16 20:48:35
阅读次数：
197
from bs4 import BeautifulSoup import urllib.request as request import os import time import threading url_s = 'http://bbs.tianya.cn/m/post-develop-' u... ...
分类：
其他好文 时间：
2017-09-14 18:50:31
阅读次数：
295
简介： BeautiflSoup是一个可以从html或者xml中提取数据的python库，Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构, 每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , ...
分类：
其他好文 时间：
2017-09-10 16:37:56
阅读次数：
219
import requests import re from requests.auth import HTTPDigestAuth from bs4 import BeautifulSoup from struct import * import random import os from PIL... ...
分类：
编程语言 时间：
2017-09-09 09:40:36
阅读次数：
462
今天跑个脚本需要一堆测试的url，，，挨个找复制粘贴肯定不是程序员的风格，so，还是写个脚本吧。环境：python2.7编辑器：sublimetext3一、分析一下首先非常感谢百度大佬的url分类非常整齐，都在一个类下即c-showurl,所以只要根据css爬取链接就可以，利用beautifulsoup即可实现..
分类：
编程语言 时间：
2017-09-08 18:04:35
阅读次数：
135
什么是PyQuery?这是一个强大又灵活的网页解析库。如果你觉得写正则太麻烦，如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery,那么,PyQuery将会成为你的最佳实践!#一个简单的例子
frompyqueryimportPyQueryaspq
html=‘‘‘
请在这里输入html代码
‘‘‘
doc=pq(html)#初始化PyQ..
分类：
其他好文 时间：
2017-09-05 00:12:16
阅读次数：
148
这段代码我还没理解透彻，比如每一页的小说信息写入完成后，怎么在后面加上第几页，后期我将继续完善它。 ...
分类：
编程语言 时间：
2017-09-03 17:49:12
阅读次数：
188
我的第一篇博客，哈哈哈，记录一下我的Python进阶之路！今天写了一个爬取天气网历史数据的小爬虫。主要使用Python的requests 和BeautifulSoup模块，核心是利用BeautifulSoup的select语句获取需要的信息。 ...
分类：
编程语言 时间：
2017-09-02 19:12:53
阅读次数：
250
一、BeautifulSoup 说明：www.crummy.com：Beautiful Soup 3只能在python2.x版本中运行,而Beautiful Soup 4还可以在python3.x版本中运行.Beautiful Soup 4速度更快,特性更多,而且与第三方的文档解析库(如lxml和h ...
分类：
编程语言 时间：
2017-09-01 22:15:17
阅读次数：
171
