码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 you-get    ( 2477个结果
python爬虫之数据加密解密
一、什么叫数据加密 数据加密是指利用加密算法和秘钥将明文转变为密文的过程。 二、数据加密的方式 1、单向加密 指只能加密数据而不能解密数据,这种加密方式主要是为了保证数据的完整性,常见的加密算法有MD5、sha系列等(位于python内置的hashlib模块中)。 2、对称加密 指数据加密和解密使用 ...
分类:编程语言   时间:2020-01-31 22:53:31    阅读次数:190
Python爬虫学习(二)使用Beautiful Soup库
(一)使用Beautiful Soup库 1,安装Beautiful Soup库:pip install beautifulsoup4 2,简单使用: import requests; from _socket import timeout from bs4 import BeautifulSoup ...
分类:编程语言   时间:2020-01-31 00:49:17    阅读次数:85
python-爬虫-庆余年小说-词云胡乱分析
python爬虫抓取庆余年小说,并使用wordcloud胡乱分析 ...
分类:编程语言   时间:2020-01-30 23:12:32    阅读次数:136
requests快速构造请求头的方法
上图请求头内容,内容多不说,也不确认哪些数据是必须的,网上找到一个懒办法 快速一键生成 Python 爬虫请求头 实战演练 抓取网站:https://developer.mozilla.org... 网站在线转换 1,Chrome 打开开发者选项( f12 ) > network 选项卡 > 刷新页 ...
分类:其他好文   时间:2020-01-30 17:20:21    阅读次数:341
一段完整的批量下载网站视频资源的python爬虫代码(附注解)
# 本程序为学习代码,成功爬取了'梨视频'网站的全部视频文件,并保存在video文件夹 import os import re import requests def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r. ...
分类:编程语言   时间:2020-01-29 16:27:45    阅读次数:434
python爬虫,一段完整的python爬虫批量下载网站图片资源的代码
# 本程序为爬虫学习代码,成功爬取了漫微网站上的全部图片内容 import re import os import requests def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.ap ...
分类:编程语言   时间:2020-01-29 16:22:10    阅读次数:107
Python入门小建议
"java从心"正式更名"KEN DO EVERTHING"。Ken(Can) Do Everything,无所不能 Believe youseft then you can do everthing ! 我也是刚踏入python的大门,所以只能给点小建议,而不是指导(暂时只接触了python爬虫) ...
分类:编程语言   时间:2020-01-28 21:17:37    阅读次数:76
python爬虫模块理解
Url管理器: 用来管理要抓取的url和已抓取的url,防止重复抓取和循环抓取,url管理器的五个最小功能: 1、添加url到容器中 2、获取一个url 3、判断url是否已在容器中 4、判断是否还有待爬取的url 5、将待爬取的url移到已爬取的url 网页下载器: 网页下载器是爬虫的核心组件,它 ...
分类:编程语言   时间:2020-01-28 12:24:55    阅读次数:55
Python爬取百度贴吧内容
参考资料:https://cuiqingcai.com/993.html 即 静觅 » Python爬虫实战二之爬取百度贴吧帖子 我最近在忙学校的一个小项目的时候涉及到NLP的内容。但是在考虑如何训练的时候却才懂什么叫巧妇难为无米之炊的滋味。中文语料库实在少的可怜,偶尔有一两个带标签的语料库,拿出一 ...
分类:编程语言   时间:2020-01-28 09:28:35    阅读次数:74
解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)问题
爬虫时报错如下: requests.exceptions.SSLError: HTTPSConnectionPool(host='某某某网站', port=443): Max retries exceeded with url: /login/ (Caused by SSLError(SSLErro ...
分类:编程语言   时间:2020-01-27 13:43:26    阅读次数:549
2477条   上一页 1 ... 27 28 29 30 31 ... 248 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!