关于python爬虫多个库的选择反反复复，总是不知道选择哪个，通过试过多个晚上的选择 以上两个库足够爬虫，已反爬虫网站数据的爬取。先上代码： 库的调用： 网页链接获取： url='**********************' 网页reques headers构建，主要是反爬虫网站的伪装，获取地址在 ...
分类：
编程语言 时间：
2018-08-06 00:40:49
阅读次数：
211
8.1.Crawl的用法实战 新建项目 wxapp_spider.py items.py pipelines.py settings.py start.py ...
分类：
其他好文 时间：
2018-08-05 14:31:55
阅读次数：
147
最近工作中需要请求一个API，由于之前接过类似的就直接拿来写好的函数使用。但数据死活就是传不过去，一只返回err. 代码如下： 1 function post_params($url, $params,$headers) { 2 $ch = curl_init(); 3 curl_setopt($c ...
分类：
编程语言 时间：
2018-08-05 00:27:31
阅读次数：
257
https://www.2cto.com/database/201704/622237_2.html 1、关闭防火墙systemctl stop firewalled servicesystemctl disable firewalled service 2、关闭selinuxvim /etc/se ...
分类：
数据库 时间：
2018-08-04 17:28:16
阅读次数：
247
问题场景 场景很简单，就是一个正常 axios post 请求： 后台说没有接收到你的传参。 这就有点奇怪了，我看了一下浏览器的请求信息是 OK 的，参数都是有的，而且之前这样用 axios 也没有这个问题。 但是这个接口是通用的，别人都用了，是 OK 的，接口没问题。 问题原因 要点1 原因就是这 ...
分类：
移动开发 时间：
2018-08-02 20:42:17
阅读次数：
405
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url ); request.Headers.Add("Authorization", (string)Newtonsoft.Json.JsonConvert.Deserialize ...
python实现HTTP请求的三中方式：urllib2/urllib、httplib/urllib 以及Requests urllib2/urllib实现 urllib2和urllib是python两个内置的模块，要实现HTTP功能，实现方式是以urllib2为主，urllib为辅 1 首先实现一个 ...
分类：
编程语言 时间：
2018-08-01 22:31:40
阅读次数：
257
# -*- coding: utf-8 -*- def loadPage() """ 请求Queryparser页面结果 """ url = "" key = urllib.urlopen(question) # 构造url url = url + key + "" headers = {} req... ...
分类：
其他好文 时间：
2018-08-01 11:57:08
阅读次数：
160
fetch在reactjs中等同于 XMLHttpRequest，它提供了许多与XMLHttpRequest相同的功能，但被设计成更具可扩展性和高效性。 Fetch 的核心在于对 HTTP 接口的抽象，包括 Request，Response，Headers，Body，以及用于初始化异步请求的 glo ...
分类：
其他好文 时间：
2018-07-31 13:37:01
阅读次数：
142
HTTP头消息通常被分为4个部分：General, Request Headers, Response Headers general通常包含请求地址、请求状态、请求方法 Request Headers通常包含以下 Header解释示例 Accept 指定客户端能够接收的内容类型 Accept: t ...
分类：
Web程序 时间：
2018-07-30 18:00:03
阅读次数：
156
