失败了,即使跟Firefox看到的headers,参数一模一样都不行,爬出来有网页,但是就是不给数据,尝试禁用了js,然后看到了cookie(不禁用js是没有cookie的),用这个cookie爬,还是不行,隔了时间再看,cookie的内容也并没有变化,有点受挫,但还是发出来,也算给自己留个小任务啥 ...
分类:
编程语言 时间:
2017-06-05 22:09:02
阅读次数:
191
查看每个php-fpm平均占用系统内存,也适用看nginx/mysqld等,把php-fpm换成mysqldps--no-headers-o"rss,cmd"-Cphp-fpm|awk‘{sum+=$1}END{printf("%d%s\n",sum/NR/1024,"M")}‘查看占用内存[root@centos69~]#ps-ylCphp-fpm--sort:rssSUIDPIDPPIDCPRINIRSSSZWCHANTTYTIMECMDS0308210..
分类:
数据库 时间:
2017-06-05 22:08:01
阅读次数:
238
一、简介 django为用户实现防止跨站请求伪造的功能,通过中间件django.middleware.csrf.CsrfViewMiddleware来完成。而对于django中设置防跨站请求伪造功能有分为全局和局部。 全局: 中间件 django.middleware.csrf.CsrfViewMi ...
分类:
其他好文 时间:
2017-06-05 16:49:20
阅读次数:
227
Charles是一个HTTP代理服务器,反转代理服务器,HTTP监视器。它允许一个开发者查看所有连接互联网的HTTP通信,包括request、 response现HTTP headers (包含cookies与caching信息)。 下载: http://www.charlesproxy.com/ ...
分类:
其他好文 时间:
2017-06-05 12:32:59
阅读次数:
161
第一个网页文本爬虫程序(没有添加下载器): 第二个网页图片爬虫(引入os模块,可以将网页内容爬取到本地文件夹) ...
分类:
Web程序 时间:
2017-06-05 10:19:15
阅读次数:
209
/* * To change this license header, choose License Headers in Project Properties. * To change this template file, choose Tools | Templates * and open ...
分类:
编程语言 时间:
2017-06-04 18:42:57
阅读次数:
171
1、基本步骤 (1)通过样板,在新建rtf中插入表格,设置样式, (2)导入xml在插入各部分元素 (3)加入循环和判断部分 注意,头表部分和行表部分都需要加循环 以附件中例子为标准, 循环语法为<?for-each:G_JE_HEADERS?> ………<?end for-each?> 实例中语法为 ...
分类:
其他好文 时间:
2017-06-04 18:22:24
阅读次数:
141
1- Do update and upgrade as always.apt-get update && apt-get upgrade && apt-get dist-upgrade -y2- Install headers.apt-get install linux-headers-`uname ...
分类:
数据库 时间:
2017-06-04 12:43:14
阅读次数:
1639
Ubuntu 16.04 更新内核的方法 1. 从http://kernel.ubuntu.com/~kernel-ppa/mainline 下载需要更新的内核版本 2. 下载对应的.deb文件 cd /tmp/ wget http://kernel.ubuntu.com/~kernel-ppa/m ...
分类:
系统相关 时间:
2017-06-04 09:47:21
阅读次数:
241
1、获取网站课程的分类地址; ''' 爬取屌丝首页,获取每个分类名称和链接 ''' import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWe ...
分类:
数据库 时间:
2017-06-04 00:53:19
阅读次数:
486