HTTP协议及Requests库的方法 HTTP: Hypertext Transfer Protocol,超文本传输协议 HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。也就是用户发出请求，服务器给出响应。无状态是指第一次请求与第二次请求之间并没有相关关联。应用层协议工作在TCP协议之 ...
分类：
编程语言 时间：
2020-04-17 00:39:55
阅读次数：
91
以上为页面结构 import pandas as pd import requests as rq from bs4 import BeautifulSoup url="http://tieba.baidu.com/hottopic/browse/topicList?res_type=1" def ...
分类：
编程语言 时间：
2020-03-21 17:56:21
阅读次数：
126
教程来自： "【Python网络爬虫与信息提取】.MOOC. 北京理工大学" 目标：爬取 "最好大学网前50名大学" 代码如下： 教程里用的代码里没有最后两行，在pycharm里出不来结果，加上以后显示正常。需要注意 `f`后面有空格，下划线也是连着的两条。 输出结果为： ...
分类：
编程语言 时间：
2020-03-21 17:50:48
阅读次数：
87
1. 前言 还在为在线看小视频缓存慢发愁吗？还在为想重新回味优秀作品但找不到资源而忧虑吗？莫要慌，让python来帮你解决，40行代码教你爬遍小视频网站，先批量下载后仔细观看，岂不美哉！ 2. 整理思路 这类网站一般大同小异，本文就以凤凰网新闻视频网站为例，采用倒推的方式，给大家介绍如何通过流量分析 ...
分类：
编程语言 时间：
2020-03-19 13:49:08
阅读次数：
69
from bs4 import BeautifulSoup from selenium import webdriver import time import xlwt #打开网页 url="http://top.baidu.com/buzz?b=1&fr=topindex" driver = we ...
分类：
编程语言 时间：
2020-03-18 15:38:38
阅读次数：
270
Q：python的学习前景 A： python作为时下流行语言可以应用于Python web开发、python网络爬虫、服务器运维、数据挖掘、AI等方面，就业前景非常乐观。 Q：web开发中前端后端如何交互 A： 在项目的时候，我们前后端会大概说一下接口地址，前端请求的参数，后端返回的参数，然后大家 ...
分类：
其他好文 时间：
2020-03-14 13:13:16
阅读次数：
60
1 前言 Python开发网络爬虫获取网页数据的基本流程为： 发起请求 通过URL向服务器发起request请求，请求可以包含额外的header信息。 获取响应内容 服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。 ...
分类：
编程语言 时间：
2020-03-09 13:10:42
阅读次数：
85
实例一--爬取页面 1 import requests 2 url="https//itemjd.com/2646846.html" 3 try: 4 r=requests.get(url) 5 r.raise_for_status() 6 r.encoding=r.apparent_encodin ...
分类：
编程语言 时间：
2020-03-06 01:28:34
阅读次数：
82
python网络爬虫入门（一） 网络爬虫的定义 1、网络蜘蛛、网络机器人，抓取网络数据的程序。 2、其实就是用Python(其他语言也可以这里介绍python)程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。 对比几种语言 1、Python ：请求模块、解析模块丰富成熟,强大的Scrapy网络 ...
分类：
编程语言 时间：
2020-03-03 21:08:18
阅读次数：
110
一、代码"""通用代码框架：可使网页爬取变得更稳定更有效下面是一个爬取百度网页的例子，正常情况下是返回"""import requestsdef get_HTML_Text(): try: r = requests.get(url, timeout=30) r.raise_for_status() ...
分类：
编程语言 时间：
2020-03-01 11:00:24
阅读次数：
100
