码迷,mamicode.com
首页 >  
搜索关键字:requests    ( 2178个结果
提取header头进行模块化处理
在进行爬取网上东西的时候一般网站都做了UA的过滤,解决办法就是在代码中加入。 所以才有了本篇提取header头信息单独写成一个模块或者说是函数/类的想法,直接上示例 1、把UA头信息在浏览器中复制出来,并存在一个txt文档中,如下是我提取的示例: 2、编写python代码,如下是我编写的python ...
分类:其他好文   时间:2018-07-22 17:05:18    阅读次数:7
requests库
[TOC] request库 官方文档: 安装:pip install requests 1.七个主要方法 "返回目录" 1. requests.Request() 构造一个请求,支撑以下各方法的基础方法 2. requests.get() 获取HTML网页的主要方法,对应于HTTP的GET 3. ...
分类:其他好文   时间:2018-07-22 16:59:54    阅读次数:9
爬虫从入门到放弃 - 纯新手学习-爬虫基本数据库安装
1.安装好前期必备的库 - requests 向网页发出请求 解释器自带的urllib 和re selenium 用于向有js渲染的网页发起请求 from selenium import webdriver driver = webdriver.Chrome() # 生成一个driver对象,并打开 ...
分类:数据库   时间:2018-07-21 17:00:26    阅读次数:13
python3 requests + BeautifulSoup 爬取阳光网投诉贴详情实例代码
用到了requests、BeautifulSoup、urllib等,具体代码如下。 在编代码的时候,有一些小细节的处理不够熟练,比如文件的读写。下面再搞一搞。 爬虫爬取了前30个页面保存到本地文件中,其实可以考虑用多线程,线程池的方法去分别爬取每一个主页面,这样可能效率会更高一些。至于多线程的部分, ...
分类:编程语言   时间:2018-07-21 16:55:19    阅读次数:12
微服务之分布式跟踪系统(springboot+zipkin+mysql)
通过上一节《微服务之分布式跟踪系统(springboot+zipkin)》我们简单熟悉了zipkin的使用,但是收集的数据都保存在内存中重启后数据丢失,不过zipkin的Storage除了内存,还有Cassandra、MYSQL、ElasticSearch。 二、zipkin的各种Storage配置 ...
分类:数据库   时间:2018-07-21 14:57:37    阅读次数:11
微博展开全文获取
``` def getlongtext(self,mid:str,req:requests)->"获取全文逻辑": allinfo=None getlongtexturl=f"http://s.weibo.com/ajax/direct/morethan140?mid={mid}" resp=req... ...
分类:其他好文   时间:2018-07-20 16:43:06    阅读次数:7
requests上传文件
""" requests上传文件时,如果文件名是中文,会导致上传失败,参考:https://www.cnblogs.com/liaofeifight/p/5807901.html """ 不修改源码解决方式如下: from django.conf import settings import req ...
分类:Web程序   时间:2018-07-20 13:51:29    阅读次数:9
万能英数脚本
#coding:utf8 import requests import Image import cStringIO import imghdr import urllib2 import ssl import urllib import sys import json import time re... ...
分类:其他好文   时间:2018-07-20 00:24:50    阅读次数:22
sample function
#coding:utf8 import requests import json import ssl import datetime import urllib import sys import json import time import random reload(sys) sys.set... ...
分类:其他好文   时间:2018-07-20 00:22:17    阅读次数:17
python3+requests库框架设计08-发送邮件
使用python3的email模块和smtplib模块可以实现发送邮件的动能。email模块用来生成email,smtplib模块用来发送邮件,接下来看如何在生成测试报告之后,自动将邮件发给项目组的人,在Common文件夹下新建my_email.py文件,项目结构如下。 收件人和发件人可以都填自己的 ...
分类:编程语言   时间:2018-07-19 21:28:12    阅读次数:41
2178条   1 2 3 4 ... 218 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!