本篇文章是使用python抓取数据的第一篇，使用requests+BeautifulSoup的方法对页面进行抓取和数据提取。通过使用requests库对链家网二手房列表页进行抓取，通过BeautifulSoup对页面进行解析，并从中获取房源价格，面积，户型和关注度的数据。 准备工作 首先是开始抓取前 ...
分类：
编程语言 时间：
2017-05-31 13:55:10
阅读次数：
193
题目链接：http://ctf5.shiyanbar.com/ppc/sd.php 对于python的怎么post还有seesion我都是一无所知 -。。- 简单的归结一下知识点： 1.利用Beautifulsoup获取sha1部分 2.0-100000之间的整数进行md5和sha1加密 3.结果进 ...
分类：
其他好文 时间：
2017-05-29 18:18:36
阅读次数：
809
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id4 中文版BeautifulSoup库 作用 提取HTML和XML文档中的数据 修改、导航、查找文档 创建html_doc >>> html_doc = """... <html> ...
分类：
其他好文 时间：
2017-05-29 12:04:02
阅读次数：
212
Beautiful Soup是一个第三方的网页解析的模块。其遵循的接口为Document Tree，将网页解析成为一个树形结构。 其使用步骤如下： 1、创建对象：根据网页的文档字符串 2、搜索节点：名称、属性、文字。 3、处理节点： BeautifulSoup(文档字符串， 'html.parser ...
分类：
其他好文 时间：
2017-05-27 15:28:18
阅读次数：
218
1 import re 2 import urllib.request 3 from bs4 import BeautifulSoup 4 import time 5 6 url=input("输入任一页的网址：") 7 8 def gethtml(url): 9 #获取页面源代码... ...
分类：
编程语言 时间：
2017-05-25 13:26:13
阅读次数：
258
1 import re 2 import urllib.request 3 from bs4 import BeautifulSoup 4 import time 5 6 url=input("第一章网址：") 7 8 def gethtml(url): 9 #获取页面源代码htm... ...
分类：
编程语言 时间：
2017-05-24 22:44:32
阅读次数：
254
创建一个新网站，一开始没有内容，通常需要抓取其他人的网页内容，一般的操作步骤如下： 根据url下载网页内容，针对每个网页的html结构特征，利用正则表达式，或者其他的方式，做文本解析，提取出想要的正文。 为每个网页写特征分析这个还是太耗费开发的时间，我的思路是这样的。 Python的Beautifu ...
分类：
Web程序 时间：
2017-05-17 14:07:45
阅读次数：
569
这一次我们利用BeautifulSoup进行网页的解析，方法其实跟前一次的差不多，只是这里我们爬取的是糗事百科，糗事百科有反爬机制，我们需要模拟用户来访问糗事百科网站，也就是加上头部信息headers,其实整体思路与上一篇所写爬虫的思路差不多，拿个速度可以共用。 1、首先我们在打开网页，并在网页空白 ...
分类：
其他好文 时间：
2017-05-16 21:34:03
阅读次数：
230
运行环境 CentOS7.3 + Python2.7 + Scrapy1.3 + MongoDB3.4 + BeautifulSoup4.6 编程工具 PyCharm + Robomongo + Xshell 请确保你的 python版本为2.7.5以上 版本强烈推荐直接【翻 墙 安 装】，简单轻松 ...
分类：
数据库 时间：
2017-05-14 23:46:34
阅读次数：
555
探索文档树： find_all(name,attrs,recursive,text,**kwargs) 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件 1、name参数，可以查找所有名字为name的tag，字符串对象会被自动忽略掉。 1) 传字符串 最简单的过滤器是字符串.在搜索方 ...
分类：
其他好文 时间：
2017-05-14 15:28:29
阅读次数：
116
