很多语言都能写个爬虫抓取数据,js自然也可以,使用cheerio可以支持css检索,较快捷的获取需要的数据。首先,先把node.js给安装了。可到官网下载。安装好node.js后,使用npm安装cheerio。
我这里使用的是win7,可以在 node.js command prompt 里输入1....
分类:
其他好文 时间:
2014-06-05 19:16:34
阅读次数:
245
最近做了一个从网络上抓取数据的一个小程序。主要关于信贷方面,收集的一些黑名单网站,从该网站上抓取到自己系统中。也找了一些资料,觉得没有一个很好的,全面的例子。因此在这里做个笔记提醒自己。首先需要一个jsoup的jar包,我用的1.6.0。。下载地址为:http://pan.baidu.com/s/1...
分类:
编程语言 时间:
2014-05-28 14:40:50
阅读次数:
388
在应用程序开发过程中,会遇到很多网络访问问题,自己没有能力提供后台服务,这时就可以抓取网络上的数据包,获取数据接口,应用在程序中。下面介绍使用paros抓取网络数据包得步骤。1.
保证 iphone/android 和电脑在同一个网段2. 在 iphone Setting 设置电脑的 ip 地址 这...
分类:
其他好文 时间:
2014-05-24 03:15:27
阅读次数:
269
我在编写一段pythn爬虫的时候遇到一个估计是编码的问题,可以怎么也解决不好。代码如下:#- * -
coding: UTF-8 -*-import urllib.requestimport rehtml =
urllib.request.urlopen("http://weibo.com/p/10...
分类:
编程语言 时间:
2014-05-22 00:59:35
阅读次数:
354
之前看过Python学习的经验,说以工程为导向学习。
自己分析了一下,一般接触Python的都有一定的其他语言基础,对于程序设计的基本逻辑,语法都有一个大概的了解。而Python这种脚本语言,没有过于独特的语法,在一定的其他语言的基础上,更是可以直接上手的。
之前看Python简明教程,半天没有进度。正好遇上Python爬虫项目,直接上手,方便快捷。
网站:http://acm.njupt.edu.cn/welcome.do?method=index,正值系统更新,于是写一个备份代码的爬虫。...
分类:
编程语言 时间:
2014-05-18 08:25:35
阅读次数:
461
最近在做语义方面的问题,需要反义词。就在网上找反义词大全之类的,但是大多不全,没有我想要的。然后就找相关的网站,发现了http://fanyici.xpcha.com/5f7x868lizu.html,还行能把“老师”-“学生”,“医生”-“病人”这样对立关系的反义词查出来。一开始我想把网站中数据库...
分类:
编程语言 时间:
2014-05-16 08:10:36
阅读次数:
465
最近在做一个网络爬虫程序,后台使用python不定时去抓取数据,前台使用php进行展示
网站是:http://se.dianfenxiang.com...
分类:
编程语言 时间:
2014-05-15 19:49:12
阅读次数:
291
本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地。...
分类:
编程语言 时间:
2014-05-15 15:09:46
阅读次数:
450