感觉写得有点烂,因为很多地方都需要做判断,而我不懂HTML语言,所以有些关键位置判断做得很潦草。什么都要学,为什么我这么菜。找个标签都要找很久。。。下一个版本马上就要出来了,修复了好多地方,好多BUG。。。
分类:
其他好文 时间:
2014-10-11 01:55:14
阅读次数:
305
当技术达到一定的地步之后, 思维是关键 把一些基础的技术组合起来,运用起来, 而不是在去学习新的技术像我现在来讲,已经能看懂一些PHP 了, xss+csrf 或者php审计更契合当前的技术。 python +EXP 的编写和爬虫组合更棒, 而不是直接去学新的技术liunx是需要掌握 ,LIUNX是...
分类:
其他好文 时间:
2014-10-10 23:44:14
阅读次数:
284
1.[代码]最基本的抓站 ?12import urllib2content = urllib2.urlopen('http://XXXX').read()2.[代码]使用代理服务器 ?12345import urllib2proxy_support = urllib2.ProxyHandler({'...
分类:
编程语言 时间:
2014-10-10 19:32:24
阅读次数:
226
webservice运行原理需要继续对底层机制进行研究,常见的WS调用方式、MQ通信、 线程池和多线程管理机制 异常处理机制 数据库连接池管理 RMI远程调用 log4j日志管理 dom4j进行xml解析 页面爬虫,涉及到HTTP协议 开源...
分类:
其他好文 时间:
2014-10-10 16:12:35
阅读次数:
139
Introduction:
这个小demo用于爬取淘宝网的相关链接。
首先从“www.taobao.com"这个url开始,手机页面上的所有url,然后存入toCrawList 。当toCrawList不为空时,拿出一个url,把它存入数据集并且搜寻这个url上的所有链接充入toCrawList. 这是一个BFS过程。
Framework:
Code:
就网络爬虫来讲这个de...
分类:
编程语言 时间:
2014-10-09 18:49:37
阅读次数:
345
publicintCalculateAge(DateTimebirthDate,DateTimenow){intage=now.Year-birthDate.Year;if(now.Month<birthDate.Month||(now.Month==birthDate.Month&&now.Day<birthDate.Day)){age--;}returnage;}
分类:
其他好文 时间:
2014-10-09 03:16:38
阅读次数:
185
主要是进行主机上使用myeclipse开发后,在从机上跑最后的程序在主机上和树莓上都安装好java环境,maven,ant拷到RPI上的时候修改为拷贝到RPI上的目录结构mvn compileant -f spy1\build.xml clean build App
分类:
其他好文 时间:
2014-10-09 02:08:38
阅读次数:
404
原文 http://www.nowamagic.net/librarys/eight/posts/2682这篇小文章朴素动人,是卓别林先生在七十岁生日时所作。当我真正开始爱自己,我才认识到,所有的痛苦和情感的折磨,都只是提醒我:活着,不要违背自己的本心。今天我明白了,这叫做真实。 当我真正开始爱自己...
分类:
其他好文 时间:
2014-10-09 01:39:27
阅读次数:
155
基本个人信息(*为必填项) *姓名 *性别男 女 *出生日期 年 月 日 国家或地区 户口 *证件号 *证件类型目前年薪 /年 币种 ...
分类:
其他好文 时间:
2014-10-08 00:40:24
阅读次数:
354
基本个人信息(*为必填项) *姓名 *性别男 女 *出生日期 年 月 日 国家或地区 户口 *证件号 *证件类型目前年薪 /年 币种 ...
分类:
其他好文 时间:
2014-10-08 00:05:54
阅读次数:
404