参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。 因此,基于需求,分如下步骤:
第一:基于Scrapy创建爬虫项目;...
分类:
编程语言 时间:
2014-04-28 17:37:30
阅读次数:
707
计数排序(Counting
sort)是一种稳定的排序算法。计数排序使用一个额外的数组C,其中第i个元素是待排序数组A中值小于等于i的元素的个数。然后根据数组C来将A中的元素排到正确的位置。限制:所有值得取值范围不能太大,并且需要知道确切的取值范围。本算法需要的辅助空间要求较高。当输入的元素是
n ...
分类:
其他好文 时间:
2014-04-28 17:13:54
阅读次数:
558
在这里,我对于项目提出功能导航系统。即为每个导航地点分组,按功能属性统计并罗列在一起,在导航页面提供目的性查询,让客户通过勾选想要进行的活动来提供目的地和导航路线。并将各地点在功能搜索页面罗列出来并给出具体坐标。如:餐饮,上课,运动,购物,出行,标志建筑,专业分属等Need:需求方面,直接从导航的....
分类:
其他好文 时间:
2014-04-28 16:58:15
阅读次数:
595
NABC模型:N(需求):通过软件控制汽车安全系统,当汽车主人不在时,通过语音识别,并与主人手机连接,通知车主。A(方法):通过盗车者的说话音色判断,避免了盗车者通过改变音调(故意将声音弄尖,或放低),来混淆判断力。及时反馈给车主,随时监听车内状况。B(好处):克服了传统的机械式防盗的笨重特点和GP...
分类:
其他好文 时间:
2014-04-28 16:40:30
阅读次数:
485
PHP里做一般的获取内容时,用自带的file_get_contents()函数基本就足够了。当然,这个函数只能抓一些简单的数据,如果是遇到需要登录的页面,就不行了,而且效率及稳定性也不是很强。所以要是有特殊需求的话,还是用curl吧。不仅仅速度快,而且非常稳定,基本上用curl抓取失败的几率很小。而...
分类:
Web程序 时间:
2014-04-28 16:28:42
阅读次数:
763
今天我完成并发表了需求报告并了解工作进度、任务跟踪、会议记录和发表博客;明天我准备继续了解工作进度、任务跟踪、会议记录和发表博客。
分类:
其他好文 时间:
2014-04-28 15:17:20
阅读次数:
377
TD学生助手摘要:随着智能手机一步步走进普通人的生活,它将成为人们获取信息的主要设备。因此,手机的娱乐应用服务将会有很大的发展空间,校园资讯软件就是其中之一。Android平台提供给用户非常方便的数据查阅功能,这将为校园资讯软件的设计与实现提供了更好的平台。另外,Android平台基本上是免费的,所...
分类:
其他好文 时间:
2014-04-28 14:42:08
阅读次数:
601
LeetCode:Combinations这篇博客中给出了不包含重复元素求组合的5种解法。我们在这些解法的基础上修改以支持包含重复元素的情况。对于这种情况,首先肯定要对数组排序,以下不再强调修改算法1:按照求包含重复元素集合子集的方法LeetCode:Subsets
II算法1的解释,我们知道:若当...
分类:
其他好文 时间:
2014-04-28 14:00:43
阅读次数:
717
一、定义
在事件驱动的环境中,比如浏览器这种持续寻求用户关注的环境中,观察者模式(又名发布者-订阅者(publisher-subscripber)模式)是一种管理人与其任务之间的关系(确切地讲,是对象及其行为和状态之间的关系)的得力工具.用JavaScript的话来说,这种模式的实质就是你可以对程....
分类:
编程语言 时间:
2014-04-28 13:11:21
阅读次数:
540
最近上线了的基于HTML5的燃气3D培训仿真系统,以前的老系统是采用基于C++和OpenGL的OpenSceneGraph引擎设计的,OSG引擎性能和渲染效果各方面还是不错的,但因为这次新产品需求要求能运行多移动终端,多年前基于MFC封装OSG的老系统架构也实在该退休了,这年头找能维护MFC这种古董...
分类:
Web程序 时间:
2014-04-28 13:05:28
阅读次数:
609