最近做视频，觉得素材不好下载，下载了转格式又很麻烦，终于，在网上ob了很久的我找到了属于自己的工具。 you-get视频下载 当你在网上找视频素材的时候发现了一个自己觉得很有意思的视频，但是获取这个视频的劳动成本却比较高，而且视频质量也不好。 这个时候你就需要you-get了。 you-get支持的 ...
分类：
其他好文 时间：
2020-02-28 13:41:05
阅读次数：
235
1、方法： response=requests.post("https://www.baidu.com/s",data=data) 2、拉勾网职位信息获取 因为拉勾网设置了反爬虫机制，在拉勾网中，一些页面的信息获取方法是post,所以就用到了post方法 在拉勾网中，我们搜索与python相关的职业 ...
分类：
编程语言 时间：
2020-02-27 23:47:13
阅读次数：
123
现在快递遍布生活的角角落落，一个快递其实是信息的集合体，里面包含大量的物流信息，那能不能自己实现一个快递查询的小功能？答案是能的！现在也有别人整理好的快递查询api，比如说快递100，可以通过它提供的API查询各个快递品牌的物流信息，但它的免费版本一天只能查询100次，还需要填电子信息申请！比较麻烦... ...
分类：
编程语言 时间：
2020-02-27 22:17:04
阅读次数：
266
Pycharm是一款很好用的python开发工具，开发Python爬虫和Python web方面都很不错 这里我为大家提供了pycharm激活方式2089年（都支持PyCharm20 激活步骤如下： 1、修改hosts激活 修改hosts文件 将0.0.0.0 account.jetbrains.c ...
分类：
其他好文 时间：
2020-02-27 19:03:58
阅读次数：
5469
为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例，都是最基础的内容 需要代码的同学可以添加群624440745 不懂的问题有老司机解决里面还有最新Pytho ...
分类：
编程语言 时间：
2020-02-27 16:15:37
阅读次数：
65
一、Request模块 1.HTTP for Humans,更简洁更友好 2.继承了urllib所有的特征 3.底层使用的是urllib3 4.?开源地址：https://github.com/requests/requests 5.中文文档?：https://requests.readthedoc ...
分类：
编程语言 时间：
2020-02-26 01:22:28
阅读次数：
83
MozillaCookiejar 保存百度得Cookiejar信息： from urllib import request from urllib import parse from http.cookiejar import MozillaCookieJar # 保存在本地 cookiejar=M ...
分类：
编程语言 时间：
2020-02-25 23:53:35
阅读次数：
131
scrapy快速上手之crawl模板 "前面" 提到过，我们使用了basic作为模板生成了爬虫 现在介绍另外一种模板：crawl 创建项目 首先在命令行界面执行： 后，即可得到提示 You can start your first spider with: cd Spider scrapy gens ...
分类：
编程语言 时间：
2020-02-25 21:50:55
阅读次数：
126
ProxyHandler处理器一、如果我们在一段时间内用某个ip地址访问了一个网站次数过多，网站就检测到不正常，就会禁止这个ip地址的访问。所以我们可以设置一些代理服务器，每段时间换个代理，就算ip被禁止，我们也可以换个ip继续爬取 代理有 1、西刺免费代理：http://www.xicidaili ...
分类：
编程语言 时间：
2020-02-25 00:33:37
阅读次数：
86
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # python3 4 import string 5 import urllib 6 from urllib import request 7 from bs4 import Beautiful ...
分类：
编程语言 时间：
2020-02-24 16:51:48
阅读次数：
129
