如何做最好的定向爬虫架构
姓名：郭钟
当前职位：某创业公司担任爬虫工程师
摘要
随着互联网信息的不断发展，信息数据的挖掘技术也不断的发展。网络爬虫技术也随之得到了巨大的发展。而对于内容型驱动的网站来说反扒是一件必不可少的事情。很多网站用Jquery加壳、登录验证、限制单位IP每秒请求次数来阻止爬虫窃取数据。所以爬虫的智能性也受到越来大的挑战。特别是国内高匿代理IP资源少的问题给爬虫的...
分类：
其他好文 时间：
2015-03-22 09:18:47
阅读次数：
323
求次数
时间限制：1000 ms | 内存限制：65535 KB
难度：2
描述
题意很简单，给一个数n 以及一个字符串str，区间【i,i+n-1】 为一个新的字符串，i 属于【0,strlen（str）】如果新的字符串出现过ans++，例如：acmacm n=3,那么 子串为acm cma mac acm ,只有acm出现过
求ans;
输入...
分类：
其他好文 时间：
2015-03-18 20:32:23
阅读次数：
121
# 基于postgresQL的API设计 --- 本文档设计思想主要是用于简化API一些重复验证工作，同时固定API入口, 在入口中做请求分发， 以便在入口做一些统计工作以及请求次数限制. -- function api_interface(in jsonb, o...
分类：
数据库 时间：
2015-03-12 13:27:18
阅读次数：
200
看到这个标题，如果你想说谁会这么蛋疼，有网不好好上，那么说明你还是一个纯洁的少年。自动重拨的需求所在多有，主要是为了绕过各大网站对相同IP地址的重复请求次数限制等等。具体的我不说了，说多了说我教坏小孩子。我最近研究这个只是因为我想写个软件自动播放和下载某个网站的视频，but这个网站一天只让同个IP免...
分类：
其他好文 时间：
2015-03-09 10:44:50
阅读次数：
140
英文原文：http://developer.yahoo.com/performance/rules.html中文原文：http://www.ha97.com/2710.html1、尽量减少HTTP请求次数终端用户响应的时间中，有80%用于下载各项内容。这部分时间包括下载页面中的图像、样式表、脚本、F...
分类：
Web程序 时间：
2015-02-21 13:10:20
阅读次数：
189
TexturePacker应该是最流行的图片合并工具吧，它把多个小图组合成一个大图，以减少网络请求次数，还有利于内存的充分利用。在游戏开发和网页开发时经常会用到它，CanTK(https://github.com/drawapp8/cantk)是HTML5游戏和APP开发的利器，当然也支持TexturePacker生成的格式。但是我使用的Fedora系统，而TexturePacker却没有提供RPM安装包。我想程序本身是可以在Fedora下运行的，只是不能直接安装罢了。所以花了点时间去弄它，运气还不错，很快...
分类：
其他好文 时间：
2015-02-14 18:56:50
阅读次数：
183
在页面中除了内容图片以外的图片都是修饰图，去掉无意义修饰图或者用css替换秀试图效果是减少HTTP请求次数的有效方式。 一:css替换图片 圆角 阴影 渐变 等css效果在当前主浏览器中已得到广泛的支持，而在之前是通过图片来实现这些效果的，比如圆角按钮 圆角按钮相对来说只需要要一次H...
分类：
Web程序 时间：
2015-01-30 15:18:27
阅读次数：
144
先上一张整洁的前端优化总结图(之前的一篇总结图太烂了) 以前切图讲究精细，图片规格越小越好，重量越小越好，其实规格大小无所谓，计算机统一都按byte计算。客户每显示一张图片都会向服务器发送请求。 所以，图片越多请求次数越多，造成延迟的可能性也就越大。所以在这里我们要做的就是把...
分类：
Web程序 时间：
2015-01-30 10:42:56
阅读次数：
202
Yahoo Web优化建议原文：Best Practices for Speeding Up Your Web Site Web应用性能优化黄金法则：先优化前端程序(front-end)的性能，因为这是80%或以上的最终用户响应时间的花费所在。 法则1. 减少HTTP请求次数 80%的最终用户响应时...
分类：
Web程序 时间：
2014-12-18 16:30:28
阅读次数：
263
今天按计划完成了一个模块的功能开发，只是完成最基本的功能开发，在一些细节如功能权限验证、减少请求次数少用ifream等问题上纠结了不少时间，最终还是一切从简，以优先完成功能为主，后续有时间再优化。简单记录下遇到的几个问题：1.Webservice接口权限验证，axis2框架应该有专门的权限验证机制，...
分类：
其他好文 时间：
2014-12-16 22:25:28
阅读次数：
224
