一、Retrofit 简介 Retrofit 官网地址： https://github.com/square/retrofit Retrofit（即Retrofit，目前最新版本为2.6.0版本），是目前非常流行的网络请求框架，底层是基于okHttp实现的。准确来说Retrofit是对okHttp的 ...
分类：
移动开发 时间：
2019-07-09 22:16:48
阅读次数：
192
1. Requests简介 Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它 ...
分类：
编程语言 时间：
2019-07-08 00:16:50
阅读次数：
111
Charles的Map功能可以将某个请求进行重定向，用重定向的内容响应请求的内容。这个功能非常方便。在抓包过程当中，有时候为了调试方便，需要将线上的服务定位到内网。比如我们线上的服务器域名为 api.example.com，而内网的用于调试的服务器域名为 test.neiwang.com，那么就需要 ...
分类：
其他好文 时间：
2019-07-06 15:07:52
阅读次数：
126
前两章简单的讲了Beautiful Soup的用法，在爬虫的过程中相信都遇到过一些反爬虫，如何跳过这些反爬虫呢？今天通过豆瓣网写一个简单的反爬中 什么是反爬虫 简单的说就是使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 反反爬虫机制 增加请求头 headers为了模拟更真 ...
分类：
其他好文 时间：
2019-07-05 19:26:08
阅读次数：
138
axios 设置headers token ...
分类：
移动开发 时间：
2019-07-05 14:22:24
阅读次数：
126
from urllib import request#headers 带cookieblog_url = "http://www.renren.com/452057374/profile?ref=page"headers = { "User-Agent":"Mozilla/5.0 (Windows ...
分类：
其他好文 时间：
2019-07-03 22:53:18
阅读次数：
181
# 设置随机请求头 设置代理ip # 在middleware.py文件中 写一个类 class MiddlewearproDownloaderMiddleware(object): user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) Ap... ...
分类：
其他好文 时间：
2019-07-03 00:10:20
阅读次数：
99
import requests import csv from pyecharts import Bar url = 'https://xueqiu.com/hq?page=1#exchange=US&firstName=3&secondName=3_0' headers = { "User-Age... ...
分类：
其他好文 时间：
2019-07-02 22:41:38
阅读次数：
118
一、爬虫基本原理 -爬虫全过程 1.发送请求 2.接收响应数据 3.解析并提取有价值的数据 4.保存数据二、Requests请求库 -get url headers cookies - post url headers cookies data 三、爬取校花网视频 1.通过主页解析提取详情页 2.通 ...
分类：
其他好文 时间：
2019-07-02 13:29:36
阅读次数：
92
