建立一个名为url.txt的文件，将需要批量测试的url放此文件中，执行脚本就看可以了 #!/usr/bin/python3 # coding=utf-8 import urllib.request import urllib.error f = open("url.txt") url = [] f ...
分类：
编程语言 时间：
2019-12-27 20:23:31
阅读次数：
160
1.1.urlopen函数的用法 #encoding:utf-8 from urllib import request res = request.urlopen("https://www.cnblogs.com/") print(res.readlines()) #urlopen的参数 #def ...
分类：
Web程序 时间：
2019-12-25 12:49:39
阅读次数：
84
很多时候呢，我们都是读取本地HTML文件来进行爬虫练手，但每次都要手打不同的HTML明显耗时耗力； 还有些小伙伴不喜欢F12，偏偏喜欢在Pycharm中查看HTML的源代码； …… 难道每次都只能“复制——新建——粘贴——保存”一条龙服务吗？ 不不不，我们还有Python的第三方库—— 。 urll ...
分类：
编程语言 时间：
2019-12-25 10:20:02
阅读次数：
112
第一种方法：获取在线图片的宽 高信息 from io import StringIO,BytesIO from pil import Image from urllib import request url = 'http://e.hiphotos.baidu.com/image/h%3D300/s ...
分类：
其他好文 时间：
2019-12-24 18:30:36
阅读次数：
70
import requestsimport base64import timeimport rsaimport binasciiimport urllib.parseimport re,urllibfrom bs4 import BeautifulSoupclass WeiBo(): def __i ...
分类：
其他好文 时间：
2019-12-22 00:27:08
阅读次数：
95
前言 该文章主要说明Python3 标准库urllib的使用。 修改时间：20191216 修改时间：20191217 天象独行 0X01；urllib作用是什么？ urllib是Python3的一个内置标准库，主要用来进行http请求。其中主要包含四个常见模块。分别是：request，error， ...
分类：
编程语言 时间：
2019-12-17 15:28:08
阅读次数：
104
原因分析：PyCurl 安装错误，需要安装 PyCurl 库（PyCurl 是一个Python接口，是多协议文件传输库的 libcurl。类似于urllib Python模块，PyCurl 可以用来从Python程序获取 URL 所标识的对象）解决方法：访问 https://www.lfd.uci. ...
分类：
Web程序 时间：
2019-12-17 11:51:45
阅读次数：
227
mport urllib.request import re codeUrl = 'https://hq.gucheng.com/gpdmylb.html' #获取股票代码 def codeTolist(): codeList = [] html = urllib.request.urlopen(c ...
分类：
其他好文 时间：
2019-12-16 19:41:51
阅读次数：
109
1. requests模块 1.1 requests简介 requests 是一个功能强大、简单易用的 HTTP 请求库，比起之前用到的urllib模块，requests模块的api更加便捷。（本质就是封装了urllib3） 可以使用pip install requests命令进行安装，但是很容易出 ...
分类：
其他好文 时间：
2019-12-16 13:15:14
阅读次数：
108
# 引入扩展 from urllib import request, error, parse # 定义url、请求头、请求参数 url = "http://www.baidu.com" headers = {'User-Agent': 'Mozilla/5.0 3578.98 Safari/537 ...
分类：
Web程序 时间：
2019-12-15 12:43:09
阅读次数：
88
