nginx里面有很多的爬虫日志，会影响到后期的数据分析，所以一般会去掉。nginx排除配置：location/{
#去掉爬虫Start
if($http_user_agent~*"bot|spider"){
access_logoff;
}
#去掉爬虫end
proxy_passhttp://cdel_jxjy;
......
}如果特别想要爬虫日志，也可以讲爬虫日志放到指定..
分类：
其他好文 时间：
2014-08-15 10:51:29
阅读次数：
299
Windows服务器Pyton辅助运维02．远程重启IIS服务器开发环境：u Web服务器：Windows Server 2008 R2 SP1IIS 7.5u 运维服务器：Python 2.7.8 组件：pywin32(219)wmi(1.4.9)工作内容说明：每次排除故障的时候开发人员都会要求....
Windows服务器Pyton辅助运维01．自动Copy文件（文件夹）到远程服务器所在目录开发环境：u Web服务器：Windows Server 2008 R2 SP1IIS 7.5u 运维服务器：Python 2.7.8 组件：pywin32(219) wmi(1.4.9)工作内容说明：生产.....
刚学python，试着写了个非常简单的爬虫，爬一些MM的鲍照下来。记录一下#coding=utf-8import urllib,timeimport reglobal xx=0def getHtml(url): page = urllib.urlopen(url) html = page...
分类：
其他好文 时间：
2014-08-12 18:52:14
阅读次数：
257
初学Python，本身就在一些语句处有些迷惑，如 a = u'你好'，不知加上这个Unicode参数有何作用。一直到做爬虫抓取新闻时，在cmd的输出上总是出现错误。经过检索相关知识后，对一些编码问题做个小总结，其中参杂个人猜测，难免会有错误，以后再慢慢修改了。 1.一定要声明#coding=X...
分类：
编程语言 时间：
2014-08-12 18:28:44
阅读次数：
203
近几天在做几个爬虫，分析网页url的时候，抓取总是出现问题。后来了解到是贪婪和非贪婪模式的问题。记录一下本是想在一个html中抓取大量这种模式的href连接xxxxx写的正则表达式为reg = r''经过Regulator分析后，下面语句也匹配了出来href="http://www.xxx.info...
分类：
其他好文 时间：
2014-08-12 13:25:54
阅读次数：
214
我经常收到关于email爬虫的问题。有迹象表明那些想从网页上抓取联系方式的人对这个问题很感兴趣。在这篇文章里，我想演示一下如何使用python实现一个简单的邮箱爬虫。这个爬虫很简单，但从这个例子中你可以学到许多东西（尤其是当你想做一个新虫的时候）。 我特意简化了代码，尽可能的把主要思路表达清楚...
分类：
编程语言 时间：
2014-08-11 17:27:52
阅读次数：
2023
我们这个系列准备讲一下--网络爬虫。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，采集信息，这些网页信息用于建立索引从而为搜索引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。网络爬虫的基本工作原理： (1)从一个...
分类：
其他好文 时间：
2014-08-08 23:54:56
阅读次数：
396
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。搜索引擎的原理是通过...
分类：
其他好文 时间：
2014-08-07 22:47:25
阅读次数：
350
今天很不小心点开百度新闻主页面，以及360新闻主页面，分别有一篇文章，但是针对百度诉360违反Robots协议案。标题分别是《百度诉360违反爬虫协议案宣判：360赔偿70万》 《法院判定360搜索可抓取百度内容》。显然，两者报道的最终法院判决结果截然相反。请看下面截图：
显然，双方都在掩饰自己的过错，宣扬自己的长处。更搞笑的是双方互相挖苦，百度发文《360律师要求百度感谢被...
分类：
其他好文 时间：
2014-08-07 19:11:20
阅读次数：
280
