requests高级部分 代理 代理概念:代理服务器 作用:接受请求==>请求转发 代理和爬虫之间的关联: 可以使用请求转发的机制使得目的服务器接受的请求对应ip的一个改变 为什么要使用代理改变请求的ip地址 爬程序在短时间内对指定的服务器发起了一个高频的请求,则请求对应的ip可能会被目的服务器禁止 ...
分类：
编程语言 时间：
2020-06-12 11:05:13
阅读次数：
66
1. 功能请求失效: 可能是链接为http请求,导致出现问题 2.浏览器网址左边出现黄色感叹号: 这是由于网页中存在http的图片链接,需要根据实际情况修改; 3.将网页内的http请求变为https: 一个办法是在 html代码 <head> 中 加入 <meta http-equiv="Cont ...
分类：
Web程序 时间：
2020-06-11 19:58:12
阅读次数：
77
import re import requests import pymysql def insertCvpr(value): db = pymysql.connect("localhost", "root", "root", "cvprlist", charset='utf8') # 连接数据库 ...
分类：
其他好文 时间：
2020-06-11 16:39:56
阅读次数：
67
import requests import json def xiaodai(): baseurl = 'https://fanyi.baidu.com/sug' # 定义我要请求的url con = input("请输入你要翻译的内容：") # 定义我要翻译的内容 data = { 'kw': ...
分类：
编程语言 时间：
2020-06-11 16:14:57
阅读次数：
94
以python代码为例: import requests def func(): session = requests.session() url = 'http://IP:8069/web?db=temp' # 指定数据库名称 url2 = 'http://IP:8069/stock_ex/sto ...
分类：
数据库 时间：
2020-06-11 13:47:53
阅读次数：
163
今天终于实现了爬虫，爬取到了一定的信息 代码： # -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import bs4 from selenium import webdriver from time impor ...
分类：
其他好文 时间：
2020-06-11 01:05:51
阅读次数：
116
from lxml import etree from pymysql import connect from jieba.analyse import * import requests class CVPR: # 保存数据 def saveContent_list(self,title,zhai ...
分类：
其他好文 时间：
2020-06-10 21:32:25
阅读次数：
99
爬取自己博客曾经发布过的所有标题 import csv import requests from bs4 import BeautifulSoup # https://www.cnblogs.com/hany-postq473111315/ # https://www.cnblogs.com/han ...
分类：
其他好文 时间：
2020-06-10 19:20:57
阅读次数：
55
这周学了一下Python爬取数据，是入门级别 这是一小部分练习代码 import time import json import requests import jsonpath from pyecharts.charts import Map import pyecharts.options as ...
分类：
其他好文 时间：
2020-06-10 19:20:39
阅读次数：
50
这是部分学习代码 import pymysql import time import json import traceback import sys import requests import io sys.stdout = io.TextIOWrapper(sys.stdout.buffer, ...
分类：
其他好文 时间：
2020-06-10 19:08:06
阅读次数：
51
