# -*- coding:utf-8 -*- # __author__ = 'lixiang' # 实现github自动登陆和获取数据 import requests from bs4 import BeautifulSoup #第一步获取github的CSRFtoken r1=requests.g... ...
分类：
其他好文 时间：
2018-06-03 19:37:40
阅读次数：
205
beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 安装 解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 ...
分类：
其他好文 时间：
2018-05-28 16:06:44
阅读次数：
152
urilib是python的标准库，当我们使用Python爬取网页数据时，往往用的是urllib模块，通过调用urllib模块的urlopen(url)方法返回网页对象，并使用read()方法获得url的html内容，然后使用BeautifulSoup抓取某个标签内容，结合正则表达式过滤。但是，用u ...
分类：
Web程序 时间：
2018-05-27 16:20:49
阅读次数：
276
BeautifulSoup是处理爬虫的一个强大工具，在HTML页面中，是由各种标签构成的，BeautifulSoup的功能就是从标签下手的，它是解析、遍历、维护“标签树”的功能库。 BeautifulSoup的基本元素如下： 1. 基本格式如下： 解析效果如下： 2. 具体使用方法如下： 3. 标签 ...
分类：
其他好文 时间：
2018-05-24 18:55:12
阅读次数：
223
直接运行，拿走不送import requests as req
from bs4 import BeautifulSoup
import lxml
import re
import os
import aiohttp
import asyncio
u="D:/test"
分类：
其他好文 时间：
2018-05-24 13:12:01
阅读次数：
140
1.基于Requests和BeautifulSoup的单线程爬虫1.1 BeautifulSoup用法总结 1. find,获取匹配的第一个标签 2.find_all,获取匹配的所有标签，包含标签里的标签，若不想要标签里的标签，可将recursive（递归寻找）=False 3.get 获得属性的值 ...
分类：
编程语言 时间：
2018-05-20 11:38:30
阅读次数：
231
上一篇文章的正则，其实对很多人来说用起来是不方便的，加上需要记很多规则，所以用起来不是特别熟练，而这节我们提到的beautifulsoup就是一个非常强大的工具，爬虫利器。 beautifulSoup “美味的汤，绿色的浓汤” 一个灵活又方便的网页解析库，处理高效，支持多种解析器。利用它就不用编写正 ...
分类：
其他好文 时间：
2018-05-18 14:11:58
阅读次数：
127
#!/usr/bin/python3#!-*-coding:utf-8-*-#导入库#import requestsfrom bs4 import BeautifulSoup#模拟浏览器访问#headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM
分类：
其他好文 时间：
2018-05-17 13:40:45
阅读次数：
124
该实例主要是针对 requests 和 BeautifulSoup的应用。 ...
分类：
编程语言 时间：
2018-05-16 00:38:07
阅读次数：
341
第一步： get post 第二步：伪装浏览器 第三步：使用代理ip 第四步：内容解析 可以使用封装好的BeautifulSoup，也可以使用re正则来匹配，原理都差不多。 ...
分类：
Web程序 时间：
2018-05-15 22:33:57
阅读次数：
276
