一、网络爬虫的定义网络爬虫,即Web
Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这...
分类:
编程语言 时间:
2014-05-27 00:15:52
阅读次数:
328
Build errors for spider;
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal
org.apache.maven.plugins:maven-compiler-plugin...
分类:
编程语言 时间:
2014-05-27 00:04:18
阅读次数:
496
1.ios完整学习路线2.ios开发的一般步骤:搭建界面 UI界面(User
Interface)发送网络请求 多线程/网络网络数据解析 json/xml解析在界面上进行数据展示
数据的封装展示3.为了方便开发者开发出强大的功能,苹果提供了各种各样的框架:(1) UIKit:创建和管理应用程序的用....
分类:
其他好文 时间:
2014-05-22 16:51:23
阅读次数:
335
我在编写一段pythn爬虫的时候遇到一个估计是编码的问题,可以怎么也解决不好。代码如下:#- * -
coding: UTF-8 -*-import urllib.requestimport rehtml =
urllib.request.urlopen("http://weibo.com/p/10...
分类:
编程语言 时间:
2014-05-22 00:59:35
阅读次数:
354
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类:
其他好文 时间:
2014-05-21 05:55:45
阅读次数:
280
之前看过Python学习的经验,说以工程为导向学习。
自己分析了一下,一般接触Python的都有一定的其他语言基础,对于程序设计的基本逻辑,语法都有一个大概的了解。而Python这种脚本语言,没有过于独特的语法,在一定的其他语言的基础上,更是可以直接上手的。
之前看Python简明教程,半天没有进度。正好遇上Python爬虫项目,直接上手,方便快捷。
网站:http://acm.njupt.edu.cn/welcome.do?method=index,正值系统更新,于是写一个备份代码的爬虫。...
分类:
编程语言 时间:
2014-05-18 08:25:35
阅读次数:
461
本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地。...
分类:
编程语言 时间:
2014-05-15 15:09:46
阅读次数:
450
接触了Spark也快有半年了,版本从0.8.0到现在的1.0.0SNAPSHOT,从头到尾被spark这个优秀的框架深深吸引,也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开,可以看出随着Spark技术的完善,越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程,觉得很有必要整理一份学习路线,对所学的内容加以沉淀,同时也为同行作为参考。因为Spark1...
分类:
其他好文 时间:
2014-05-15 06:07:33
阅读次数:
357
这段时间一直在看软考网工书,说起考网工也是因为在学习SDN这块知识时候,发现自己匮乏的网络知识,所以决心好好学习下网络知识。为了督促自己,也是为了有一个学习路线体系,就报名参加网工,经过一个月魔鬼般的自学,感觉对网络也达到了似懂非懂的"境界"。努力吧!争取把自己..
分类:
其他好文 时间:
2014-05-15 03:10:03
阅读次数:
229
经常被在线学习视频课程的同学问到,如何能够找到一个合适的软件开发方向,大概要投入多少精力,诸如此类的问题。今天特地把微软认证.netweb工程师的学习路线图整理出来,如下图所示。图中标注“对号”的课程在我的51CTO课程中心都能看到,总共是6门课程,视频的总长度是132个..
分类:
Web程序 时间:
2014-05-14 16:13:34
阅读次数:
360