目标 之前的自动答复机器人需要从一个内部网页上获取的消息用于回复一些问题，但是没有对应的查询api，于是想到了用脚本模拟浏览器访问网站爬取内容返回给用户。详细介绍了第一次探索python爬虫的坑。 准备工作 requests模块向网站发送http请求，BeautifulSoup模块来从静态HTML文 ...
分类：
编程语言 时间：
2018-10-25 17:55:20
阅读次数：
252
Beautiful soup将复杂HTML文档转换成一个复杂的属性结构，每个节点都是python对象，所有对象可归纳为4种Tag，NavigableString,BeautifulSoup,Comment 1.Tag 就是html中的一个个标签 tag有两个重要的属性，name和attrs 2.Na ...
分类：
其他好文 时间：
2018-10-25 00:24:53
阅读次数：
199
Beautiful Soup插件学习使用参考：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#recursive 使用Beautiful Soup前的准备，先确保安装了该插件（该版本为：beautifulsoup4）： 通过pyth ...
分类：
编程语言 时间：
2018-10-24 15:16:19
阅读次数：
436
1.常用方法 from bs4 import BeautifulSoup html = """ <table class="tablelist" cellpadding="0" cellspacing="0"> <tr class="h"> <td class="l" width="374">职位名 ...
分类：
编程语言 时间：
2018-10-23 14:42:20
阅读次数：
224
python 爬虫网页解析工具 BeautifulSoup 2个不为人知的用法
分类：
其他好文 时间：
2018-10-19 14:13:09
阅读次数：
335
实现思路： 由于反扒机制，所以需要做代理切换，去爬取，内容通过BeautifulSoup去解析，最后入mysql库 1.在西刺免费代理网获取代理ip，并自我检测是否可用 2.根据获取的可用代理ip去发送requests模块的请求，带上代理 3.内容入库 注：日志模块在上一篇随笔 下面附上代码 1.可 ...
分类：
数据库 时间：
2018-10-19 13:57:30
阅读次数：
366
1.先来个不反爬的 """这个不设置反爬措施，练手最好用""" import requests from bs4 import BeautifulSoup response = requests.get("https://www.autohome.com.cn/news/") # 转换编码 resp ...
分类：
编程语言 时间：
2018-10-17 20:42:45
阅读次数：
208
第一节：技术选型，爬虫能做什么技术选型scrapy vs requests + beautifulsoup1. requests + beautifulsoup都是库，scrapy是框架2.scrapy框架中可以加入requests + beautifulsoup3.scrapy基于twisted， ...
分类：
其他好文 时间：
2018-10-16 01:42:53
阅读次数：
146
原文：https://blog.csdn.net/suibianshen2012/article/details/62040460?utm_source=copy ...
分类：
编程语言 时间：
2018-10-13 02:32:46
阅读次数：
132
