参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。 因此,基于需求,分如下步骤:
第一:基于Scrapy创建爬虫项目;...
分类:
编程语言 时间:
2014-04-28 17:37:30
阅读次数:
707
PS:Sqlserver 2008 R2,windows 8
64位1.备份数据库因为要备份,我们就要用到Sqlserver的代理,默认数据库的代理是不开启的。需要我们手动开启的。执行备份数据库脚本,现在将脚本公布,其实将这一段代码中需要保存的文件路径和数据库名称替换一下就可以实现备份了。但是还没有...
分类:
数据库 时间:
2014-04-28 09:02:57
阅读次数:
3027
Java的优势1. 简单
不像C或者C++语言,Java中省去了对指针的操作。但是,Java中并没有省去指针,代替指针的是一种新的变量——引用,引用也是保存一个对象的内存地址。2.方便
Java虚拟机自带垃圾回收器,能够自动回收内存资源。而C和C++语言,需要开发人员手动进行内存资源回收。3.安.....
分类:
编程语言 时间:
2014-04-28 00:01:34
阅读次数:
574
在所有的移动开发平台数据持久化都是很重要的部分:在j2me中是rms或保存在应用程序的目录中,在symbian中可以保存在相应的磁盘目录中和数据库中。symbian中因为权限认证的原因,在3rd上大多数只能访问应用程序的private目录或其它系统共享目录。在iphone中,apple博采众长,提供...
分类:
其他好文 时间:
2014-04-27 23:26:05
阅读次数:
803
第一步打开wxFormBuilder修改工程信息并保存工程Name: 工程名File:
生成代码(.py)文件名Code_generation:
生成代码类型第二步创建窗体切换至forms页选择Form按钮创建框架(或Dialog按钮创建对话框)修改窗体信息name:窗体类名title:窗体标题第三...
分类:
其他好文 时间:
2014-04-27 22:48:15
阅读次数:
1071
1.先对文件内容排序:cat 1.txt |sort > 2.txt 保存到2.txt中
2.使用vim打开2.txt 执行替换命令:
替换空格:%s/ //g
替换tab:%s/^I//g (注意:^I 是直接按键盘是的tab键)
替换$: %s/^M//g (注意:^M 是按ctrl+v 再按Enter键)
3.cat 2.txt | uniq > 3.txt
本文为...
分类:
其他好文 时间:
2014-04-27 19:07:00
阅读次数:
544
图片绑定时的一个问题。场景如下:有2个窗口A和B,A窗口的业务逻辑是编辑生成图片。然后从A窗口可以打开B窗口。B窗口是由A生成所有图片的列表。当在A窗口编辑生成图片并保存后打开B窗口就会看到刚刚生成的图片。关闭B窗口,可以在A窗口中继续编辑图片,再次保存图片并打开B窗口,就会看到最新的图片的变化。图...
分类:
其他好文 时间:
2014-04-27 17:02:11
阅读次数:
604