在flask服务端，有时候需要使用requests请求其他url，并将响应返回回去。查阅了flask文档，About Responses，可以直接构造响应结果进行返回。 If a tuple is returned the items in the tuple can provide extra i ...
分类：
其他好文 时间：
2017-07-24 11:27:11
阅读次数：
144
# -*- coding: utf-8 -*- import urllib2 #urllib2 默认的User-Agent是 Python-urllib/2.7 #User-Agent是爬虫和发爬虫斗争的第一步 ua_headers = { "User-Agent":"Mozilla/5.0 (Wi... ...
分类：
Web程序 时间：
2017-07-23 22:31:02
阅读次数：
228
cd rpm 01########### 离线安装gcc-c++ ###########rpm -Uvh mpfr-2.4.1-6.el6.x86_64.rpmrpm -Uvh ppl-0.10.2-11.el6.x86_64.rpmrpm -Uvh cloog-ppl-0.15.7-1.2.el6 ...
分类：
其他好文 时间：
2017-07-23 16:43:03
阅读次数：
206
1、使用火狐浏览器的Modify Headers插件可以伪造IP,，Add, Headername=X_FORWARDED_FOR,Value=IP; 然后确定，刷新页面即可； 问题就是这个Headername为什么只能是X_FORWARDED_FOR，而不能是HTTP_CLIENT_IP（客户端i ...
分类：
其他好文 时间：
2017-07-22 23:40:39
阅读次数：
395
1.为了能够将爬取到的数据存入本地数据库，现在本地创建一个MySQL数据库example，然后 在数据库中建立一张表格test，示例如下： 2.如果使用开源框架pyspider来进行爬虫的话，默认情况下，会把爬取到的结果存放到result.db这个sqilite数据库中，但是为了方便操作，我们将结果 ...
分类：
编程语言 时间：
2017-07-21 14:12:22
阅读次数：
275
因为新浪微博网页版爬虫比较困难，故采取用手机网页端爬取的方式 操作步骤如下： 1. 网页版登陆新浪微博 2.打开m.weibo.cn 3.查找自己感兴趣的话题，获取对应的数据接口链接 4.获取cookies和headers 至于爬出来的数据有非中文的数据，要提取中文请参考：筛选出一段文字中的中文 未 ...
分类：
编程语言 时间：
2017-07-20 00:59:14
阅读次数：
400
有些接口用CURL调用的时候，要发送header头信息如百度的查询快递的接口PHP代码如下:$url="https://sp0.baidu.com/9_Q4sjW91Qh3otqbppnN2DJv/pae/channel/data/asyncqury?appid=4001&com={$type}&nu={$deliveryBn}";
$headers=array(
"Host:sp0.baidu.com",
"Connection..
分类：
Web程序 时间：
2017-07-19 17:50:31
阅读次数：
343
class UsualFunForNetWorkHelper { /*** * post请求数据 */ public static function HttpsPost($url, $data = null, $headers = null) { $curl = curl_init(); curl_... ...
分类：
Web程序 时间：
2017-07-19 14:35:38
阅读次数：
136
django解决跨域请求的问题 解决方案 1.安装django-cors-headers 其他解决方 1.使用JSONP 使用Ajax获取json数据时,使用JSONP，JSONP只能用于GET请求，红色部分是注意事项 后台代码： ...
分类：
编程语言 时间：
2017-07-18 10:10:26
阅读次数：
170
jmeter在发送http post请求时，会把body 里的数据格式给携带上（最好携带上），一般在信息头里增加。另因一篇文章。感觉写的非常好。https://imququ.com/post/four-ways-to-post-data-in-http.html ...
分类：
其他好文 时间：
2017-07-17 17:15:32
阅读次数：
133
