BeautifulSoup 是一个非常优秀的Python扩展库，可以用来从HTML或XML文件中提取我们感兴趣的数据，并且允许指定使用不同的解析器。 使用 pip install BeaufifulSoup4 直接进行模块的安装。安装之后应使用 from bs4 import BeautifulSo ...
分类：
其他好文 时间：
2018-05-04 21:57:06
阅读次数：
196
首先说明一下两个基本函数 .find() 和 .findAll()。 find()返回第一个符合要求的标签 findAll()返回一个由所有符合要求的标签组成的列表。除此之外基本相同。 0、直接定位 例： apple banana label_loc = bs.body.table.td 1、通过标... ...
分类：
其他好文 时间：
2018-05-04 21:33:12
阅读次数：
3544
下面我们将介绍三种抓取网页数据的方法，首先是正则表达式，然后是流行的 BeautifulSoup 模块，最后是强大的 lxml 模块。 1. 正则表达式 如果你对正则表达式还不熟悉，或是需要一些提示时，可以查阅Regular Expression HOWTO 获得完整介绍。 当我们使用正则表达式抓取 ...
分类：
编程语言 时间：
2018-05-01 10:47:59
阅读次数：
285
1.选一个自己感兴趣的主题（所有人不能雷同）。 我选择了虎扑nba的体育新闻页面，与校园新闻版面类似，爬去50页 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 利用所学知识，导入要用的类 import requests from bs4 import BeautifulSoup i ...
分类：
其他好文 时间：
2018-04-30 22:20:19
阅读次数：
200
\本文涉及到的知识有postgresql数据库使用，文件操作，以及爬虫相关知识，用到了request2、BeautifulSoup两个模块\pip install request2,pip install Beautifulsoup4,pip install htmllib5 安装三个模块\站在别人... ...
分类：
其他好文 时间：
2018-04-30 21:12:18
阅读次数：
158
import requests, re, jieba,pandas from bs4 import BeautifulSoup from datetime import datetime from wordcloud import WordCloud import matplotlib.pyplot... ...
分类：
其他好文 时间：
2018-04-30 18:11:59
阅读次数：
163
代码： #encoding=utf-8 import re import requests import urllib2 import datetime import MySQLdb from bs4 import BeautifulSoup import sys reload(sys) sys.s ...
分类：
其他好文 时间：
2018-04-30 18:00:26
阅读次数：
207
初学puthon爬虫，于是自己怕了豆瓣以电影信息，直接上源码 爬取成功 我利用的是BeautifulSoup设个库，这个库将可以将heml代码进行按标签进行分类整理，还可以读取标签属性，详情可以自己搜索，对于爬虫来说非常强大 我的代码理念理念是利用BeautifulSoup，利用for循环一层一层的 ...
分类：
其他好文 时间：
2018-04-30 15:40:34
阅读次数：
277
selenium BeautifulSoup:处理速度快,同时可以连续查找,主要用于静态 Selenium:主要用于动态网页,查找速度慢 一、声明浏览器对象 二、与BeautifulSoup取数的区别 （一）一个例子 （二）步骤详解 1.访问页面 2.查找元素 2.查找元素 2.查找元素 2.查找元 ...
分类：
其他好文 时间：
2018-04-29 17:44:04
阅读次数：
170
打开酷我新歌排行榜，网址是http://www.kuwo.cn/bang/index 代码： 用requests库和BeautifulSoup库，爬取酷我新歌榜当前页面的每首的曲目、作者、歌词、排行、链接等，将获取歌曲详情的代码定义成一个函数 生成词云： ...
分类：
其他好文 时间：
2018-04-28 01:27:59
阅读次数：
168
