418: 被反爬程序识别，添加headers 1 import requests 2 3 headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) C ...
分类：
其他好文 时间：
2020-06-23 17:09:28
阅读次数：
42
1.九寨沟景点 import asyncio import requests from bs4 import BeautifulSoup base_url = 'https://www.jiuzhai.com/{0}' async def parse_next_html(response): sou ...
分类：
编程语言 时间：
2020-06-23 15:31:36
阅读次数：
63
方法一： SELECT TRUNC(months_between(sysdate, birth)/12) AS age from dual； 方法二： select TRUNC((to_char(sysdate, 'yyyyMMdd') - to_char(birth, 'yyyyMMdd')) / ...
分类：
数据库 时间：
2020-06-23 13:49:48
阅读次数：
262
1、.什么是Scrapy? Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。 2、环境安装： Linux安装： pip install scrap ...
分类：
编程语言 时间：
2020-06-23 01:03:35
阅读次数：
71
安装库获取随机的UserAgent的两种方法 # 获取随机的UA ''' 首先安装包 pip install fake_useragent pip install faker ''' # 方法一 from fake_useragent import UserAgent ua = UserAgent( ...
分类：
编程语言 时间：
2020-06-23 00:38:23
阅读次数：
106
前言：本文主要内容是介绍如何用最简单的办法去采集新浪微博的数据，主要是采集指定微博用户发布的微博以及微博收到的回复等内容，可以通过配置项来调整爬取的微博用户列表以及其他属性。 既然说是最简单的办法，那么我们就得先分析微博爬虫可能选择的几个目标网址，首先肯定是最常见的web网站了 还有就是m站，也就是 ...
分类：
其他好文 时间：
2020-06-22 23:27:49
阅读次数：
219
前言：本文主要是分享下利用python爬取百度指定贴吧的全部帖子以及帖子回复内容，主要是利用python的request库获取网页信息，通过正则等方式解析我们需要的数据并存储到数据库中，并且后续可以用于情感分析、热词分析等分析，这些分析操作可以看我的另一篇文章。 https://www.bizhib ...
分类：
编程语言 时间：
2020-06-22 23:17:35
阅读次数：
62
python是一门语法简单、入门快的编程语言，大家也知道python受到广泛关注，现在很多公司都使用python进行开发。那么掌握python语言可以用来做什么呢?
分类：
编程语言 时间：
2020-06-22 18:36:31
阅读次数：
104
字符串格式化 字符串格式化其实就是字符串的拼接，自定义将某些字符串植入到主字符串之中，这里介绍几种常用的方式。 百分号占位 tmp = '你好 我是%s，我今天挣了%.2f元钱' value = ('小明',5.32567) str = tmp % value print(str) 打印结果：你好 ...
分类：
编程语言 时间：
2020-06-22 17:06:57
阅读次数：
56
爬虫固定套路 1.提取数据(1.找到需要爬取的url,通过http请求获取html页面) 2.解析数据(1.数据筛选,2.数据过滤,3.获取有效数据) 最难搞的就是这一步,因为你要去分析解析人家前端页面Html的格式,这里也就是爬虫功放战的主要战场 3.数据入库 一、提取数据 1.找到需要爬取页面的 ...
分类：
其他好文 时间：
2020-06-22 13:04:10
阅读次数：
56
