一. 登录事例 a. 查找汽车之家新闻 标题 链接 图片写入本地 import requests from bs4 import BeautifulSoup import uuid response = requests.get( 'http://www.autohome.com.cn/news/' ...
分类：
编程语言 时间：
2017-09-01 00:54:15
阅读次数：
301
BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后便可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 1 from bs4 import BeautifulSoup 2 3 html_doc = """ ...
分类：
其他好文 时间：
2017-08-30 20:48:49
阅读次数：
184
1. Beautiful Soup的简介 2. Beautiful Soup 安装 可以利用 pip 或者 easy_install 来安装，以下两种方法均可 easy_install beautifulsoup4 pip install beautifulsoup4 Beautiful Soup支 ...
分类：
Web程序 时间：
2017-08-30 20:45:34
阅读次数：
219
我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list（1）通过标签名查找 （2）通过类名查找 （3）通过 id 名查找 （4）组合查找 组合查找即和写 class 文件时，标签名 ...
分类：
其他好文 时间：
2017-08-30 17:36:18
阅读次数：
194
import urllib.request from bs4 import BeautifulSoup url = "https://movie.douban.com/chart" req = urllib.request.Request(url) req.add_header("User-Agen... ...
分类：
其他好文 时间：
2017-08-30 11:00:06
阅读次数：
176
近期看那个scrape章节。有个s_urls[0]['href'] 没法理解。以为python 有非数字下标数组。后面多方查询才知道这个是beautifulsoup 中的tag查询 https://stackoverflow.com/questions/5815747/beautifulsoup-g ...
分类：
编程语言 时间：
2017-08-30 09:59:08
阅读次数：
428
# -*- coding: utf-8 -*- import requests import lxml import os,time from bs4 import BeautifulSoup as sb try: import cookielib except: import http.cooki... ...
分类：
其他好文 时间：
2017-08-29 19:47:03
阅读次数：
238
from urllib import request from urllib import parse from bs4 import BeautifulSoup req =request.Request("http://www.xinshipu.com/zuofa/49391") req.add_... ...
分类：
其他好文 时间：
2017-08-27 17:13:27
阅读次数：
218
爬虫入门新手，自学笔记，如果理解有错误请指正。 BeautifulSoup库的find_all函数可以搜索返回的网页源码中参数对应的标签对象。 尝试打印一下获取的img标签内容。 我们可以看到一大堆img标签内容，比如 <img src="http://static.nipic.com/images ...
分类：
编程语言 时间：
2017-08-26 23:31:36
阅读次数：
243
用到的模块：threading多线程模块 requests模块 BeautifulSoup模块 实现功能：可以通过命令行控制关键字以及线程数，实现百度的url采集 代码如下： #!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-08- ...
分类：
编程语言 时间：
2017-08-25 15:59:05
阅读次数：
295
