爬虫基础：requests以及BeautifulSoup模块 http://www.cnblogs.com/wupeiqi/articles/6283017.html 爬虫性能相关以及Scrapy框架 http://www.cnblogs.com/wupeiqi/articles/6283017.h ...
分类：
其他好文 时间：
2017-07-03 12:09:29
阅读次数：
164
beautifulsoup中的find和findall参数 findAll(tag,attributes,recursive,text,limit,keywords) findAll(tag,attributes,recursive,text,keywords) 分别代表，标签，传入字典形式的标签属 ...
分类：
其他好文 时间：
2017-07-01 21:43:34
阅读次数：
195
Beautiful Soup 中文文档 原文 by Leonard Richardson (leonardr@segfault.org) 翻译 by Richie Yan (richieyan@gmail.com) ###如果有些翻译的不准确或者难以理解，直接看例子吧。### 英文原文点这里 Bea ...
分类：
其他好文 时间：
2017-07-01 19:21:50
阅读次数：
206
#conding:utf-8 import unittest from selenium import webdriver from urllib.request import * import re import time from bs4 import BeautifulSoup #测试类 cl... ...
分类：
编程语言 时间：
2017-06-29 19:12:00
阅读次数：
194
MarkdownPadDocumentBeautifulSoupfindAll函数
nameList=bsObj.findAll("span",{"class":"green"})
fornameinnamelist:
print(name.get_text())
#找到所有属性class="green"的span标签,通常在你准备打英存储和操作数据时，应该最后才使
用.get_text()。一般情况下，你应该尽可..
分类：
其他好文 时间：
2017-06-26 22:42:15
阅读次数：
142
Beautiful Soup parses anything you give it, and does the tree traversal stuff for you. BeautifulSoup库是解析、遍历、维护 “标签树” 的功能库（遍历，是指沿着某条搜索路线，依次对树中每个结点均做一次且 ...
分类：
编程语言 时间：
2017-06-21 16:01:18
阅读次数：
154
继上一篇BeautifulSoup的高级应用，主要解说的是contents children descendants string strings stripped_strings。本篇主要解说.parent .parents .next_sibling .previous_sibling .nex ...
分类：
其他好文 时间：
2017-06-20 14:49:34
阅读次数：
205
一、正则表达式提取网页内容解析效率：正则表达式>lxml>beautifulsoup代码：import
reimport
urllib2urllist
=‘http://example.webscraping.com/places/default/view/United-Kingdom-239‘html=
urllib2.urlopen(urllist).read()num=
re.findall(‘<tdclass="w2p_fw">..
分类：
编程语言 时间：
2017-06-19 22:10:20
阅读次数：
441
这个提示的意思是没有给BeautifulSoup中传递一个解析网页的方式。有2中方式可以使用:html.parser以及lxml。这里我们先用html.parser，lxml后面再讲。代码改成如下就OK了 在解析网页前，我们先来看几个概念，标签，属性。 比如下面的网页结构。<a href=”1.sh ...
分类：
编程语言 时间：
2017-06-17 17:18:35
阅读次数：
626
上篇中的程序实现了抓取0daydown最新的10页信息。输出是直接输出到控制台里面。再次改进代码时我准备把它们写入到一个TXT文档中。这是问题就出来了。 最初我的代码例如以下： #-*- coding: utf-8 -*- # #version: 0.1 #note:实现了查找0daydown最新公 ...
分类：
其他好文 时间：
2017-06-17 17:04:11
阅读次数：
148
