参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。
我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。 因此,基于需求,分如下步骤:
第一:基于Scrapy创建爬虫项目;...
分类:
编程语言 时间:
2014-04-28 17:37:30
阅读次数:
707
1、认识需要配置的环境变量 1). PATH:
作用是指定命令搜索路径,打开/etc/environment可以看到PATH变量的值,该变量包含了一系列的路径。那些路径都是一些经常使用的系统命令的目录地址,如:、/sbin、/bin等。在bash终端执行命令时,系统会自动到PATH变量所指定的路.....
分类:
编程语言 时间:
2014-04-28 16:50:25
阅读次数:
659
放置方法的程序单元是类,类中提供一个或多个方法,为类执行任务。方法执行一个任务,并可返回一个结果。类的实例称为对象。给对象发送消息称为一个方法调用,告诉对象要执行一个任务。对象有属性,可以在程序中使用,这些属性在对象的类中用字段指定属性。public
class Count//每个类声明包含关键字c...
分类:
其他好文 时间:
2014-04-28 16:18:47
阅读次数:
472
想写个自动定会议室的程序。1、会议系统登录后,存在session,提交会议室的订单通过httpwatch拼接后获得链接地址,直接访问链接及可以了2、如果没有提前登录,就无法提交链接了。使用python+PAMIE实现了了自动登录的过程(登录的链接一直拼接不出来。。)下面说说这个研究过程。。1、一开始...
分类:
编程语言 时间:
2014-04-28 16:04:47
阅读次数:
848
环境变量分为系统级和用户级。系统级变量设置环境为/etc/environment和/etc/profile等,不要轻易修改,否则可能造成系统错误。用户级变量设置路径为~/.bashrc和~/.profile。.profile负责本用户所有环境变量的设置,而.bashrc只负责控制台调用的环境变量。所...
分类:
其他好文 时间:
2014-04-28 15:48:57
阅读次数:
511
这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的,但是貌似它的数据是用js写上去还是什么的,得到的html文本中不包含数据,所以就算了爬虫简单说来包括两个步骤:获得网页文本、过滤得到数据。
1、获得html文本。 python在获取html方面十分方便,寥.....
分类:
编程语言 时间:
2014-04-28 15:31:09
阅读次数:
712
sudo apt-get install
python-software-propertiessudo apt-add-repository ppa:brightbox/ruby-ngsudo
apt-get updatesudo apt-get install ruby2.1ruby2.1 -vr...
分类:
其他好文 时间:
2014-04-28 14:18:29
阅读次数:
445
java中的Switch case 语句 在Switch语句中有4个关键字:switch,case
break,default.
在switch(变量),变量只能是整型或者字符型,程序先读出这个变量的值,然后在各个"case"里查找哪个值和这个变量相等,如果相等,则条件成立,程序执行相应...
分类:
编程语言 时间:
2014-04-28 01:23:56
阅读次数:
643
转载请标明,http://www.gxabase.com视频内容:本节主要详细介绍编写Java程序的工具-EditPlus如何应用,如何利用EditPlus工具去编译和运行Java程序。接着介绍Java程序的编码规范,如何定义方法名/变量名/类名的规范。最后为大家介绍Java八大基本数据类型的应用。
分类:
编程语言 时间:
2014-04-28 00:23:10
阅读次数:
518
Java的优势1. 简单
不像C或者C++语言,Java中省去了对指针的操作。但是,Java中并没有省去指针,代替指针的是一种新的变量——引用,引用也是保存一个对象的内存地址。2.方便
Java虚拟机自带垃圾回收器,能够自动回收内存资源。而C和C++语言,需要开发人员手动进行内存资源回收。3.安.....
分类:
编程语言 时间:
2014-04-28 00:01:34
阅读次数:
574