参考:静觅丨崔庆才的个人博客 项目地址:copywang/spiders_collection 实现功能 根据登陆后的cookie制作header,请求搜索微信文章 url需要使用urlencode拼接 使用代理避免IP被封 使用pyquery解析得到需要的字段信息 爬取文章详情页并存储到Mongo ...
分类:
微信 时间:
2017-11-25 11:19:16
阅读次数:
263
curl 请求的时候 如果用post请求,传递参数为 数组的时候 header 头 会被设置为 multipart/form-data 如果是字符串 形式 header 头会被设置为application/x-www-urlencode 在使用数组传值时,php://input是接收不到数据的? 今 ...
分类:
Web程序 时间:
2017-11-20 21:51:01
阅读次数:
236
//laravel public function index(){ $urlToEncode="http://www.baidu.com"; $this -> generateQRfromGoogle($urlToEncode); //return view('welcame'); } publi... ...
Postman简单接口测试 1、 get请求: a、 选择get请求时,地址栏输入地址,如果需要添加参数,可以直接在地址栏加?后面写参数,也可以在点击params添加参数 b、 在headers中添加cookies c、 点击send发送请求,查看返回的结果 2、 post请求 a、 输入接口地址 ...
分类:
其他好文 时间:
2017-11-20 15:41:30
阅读次数:
91
Python3和Python2的urllib模块不太一样,本篇文章是以Python3为前提。 1.urlopen的使用 2.Request的使用 3.代理 4.Cookie 5.异常处理 ...
分类:
编程语言 时间:
2017-11-20 13:08:56
阅读次数:
213
$headers = array( //"Content-type:application/json;charset='utf-8'", "Cache-Control:no-cache", "Pragma:no-cache", //"accept-charset:utf-8", "Accept-En ...
分类:
Web程序 时间:
2017-11-17 19:54:05
阅读次数:
244
在对URL进行编码时,该用哪一个?这两都使用上有什么区别吗?测试: string file="文件上(传)篇.doc";string Server_UrlEncode=Server.UrlEncode(file);string Server_UrlDecode=Server.UrlDecode(Se ...
分类:
Web程序 时间:
2017-11-12 16:24:22
阅读次数:
153
我的笔记:Ajax概述 一.Ajax应用小例子(get提交) register_get.html (客户端) register.php(服务器端) 由于是get提交所以数据暴露了 二.Ajax用户注册--用户名是否已经存在小例子: register_step.html 服务端:register_st ...
分类:
编程语言 时间:
2017-11-10 21:40:31
阅读次数:
286
Spring data mongodb 查询出结果的时候会自动 + 8小时,所以我们看起来结果是对的 但是我们查询的时候,并不会自动 + 8小时,需要自己处理 解决方法 1 @JsonFormat(timezone = "GMT+8", pattern = "yyyy-MM-dd HH:mm:ss" ...
分类:
数据库 时间:
2017-11-09 15:02:14
阅读次数:
440
一、概述 MySQL全文检索是利用查询关键字和查询列内容之间的相关度进行检索,可以利用全文索引来提高匹配的速度。 二、语法 MATCH (col1,col2,...) AGAINST (expr [search_modifier]) search_modifier: { IN BOOLEAN MOD ...
分类:
数据库 时间:
2017-11-08 17:27:29
阅读次数:
192