现在有越来越多的人热衷于做网络爬虫（网络蜘蛛），也有越来越多的地方需要网络爬虫，比如搜索引擎、资讯采集、舆情监测等等，诸如此类。网络爬虫涉及到的技术(算法/策略)广而复杂，如网页获取、网页跟踪、网页分析、网页搜索、网页评级和结构/非结构化数据抽取以及后期更细粒度的数据挖掘等方方面面，对于新手来说，不...
分类：
Web程序 时间：
2014-05-26 05:54:50
阅读次数：
393
RPC（remote procedure call）不同java进程间的对象方法调用，一方称作服务端，一方称作客户端；被调用的对象的方法执行发生在server端
首先应该编写服务端MyServer，客户端MyClient，操作对象类MyBiz（根据服务端方法参数推测的），操作对象接口MyBizable（根据客户端方法参数推测的）
通过查看源码，一步步向里查看，直到没有return该方法出现...
分类：
编程语言 时间：
2014-05-26 05:34:16
阅读次数：
471
package com.kane.hdfs;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class Test {...
记录在不同的学习使用阶段，个人对Hadoop的认识情况，当前入门阶段，介绍入门阶段对Hadoop的看法。...
分类：
其他好文 时间：
2014-05-26 03:18:12
阅读次数：
275
点击browserFilesystem，和命令查看结果一样
当我们查看hadoop源码时，我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量，肯定在其他文件有定义，在core-default.xml中查看到，这两个配置文件有个共同点：
就是不要修改此文件，但可以复制信息到core-site.xml和hdfs-sit...
分类：
Web程序 时间：
2014-05-25 02:02:13
阅读次数：
388
ls
-l：长格式
文件类型：
-：普通文件 (f)
d: 目录文件
b: 块设备文件 (block)
c: 字符设备文件 (character)
l: 符号链接文件(symbolic link file)
p: 命令管道文件(pipe)
s: 套接字文件(socket)
文件权限：9位，每3位一组，每一组：rwx(读，写，执行), r--
文件硬链接的次数
文件的属主(o...
分类：
其他好文 时间：
2014-05-25 01:55:01
阅读次数：
262
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了，把大量数据部署在便宜的硬件上，即使其中某些磁盘出现故障，HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入，多次读取的程序，文件写入后，就不需要修改了。像...
分类：
其他好文 时间：
2014-05-25 01:02:09
阅读次数：
285
接上一篇，同样的01背包问题，上一篇采用动态规划的方法，现在用回溯法解决。回溯法采用深度优先策略搜索问题的解，不多说，代码如下：
bestV=0
curW=0
curV=0
bestx=None
def backtrack(i):
global bestV,curW,curV,x,bestx
if i>=n:
if bestV<curV:
bestV=curV
bestx=...
分类：
编程语言 时间：
2014-05-24 22:08:01
阅读次数：
544
除介绍的命令外，还有许多bin/hadoop.dfs命令，以上介绍的只是帮助你开始使用HDFS，运行bin/hadoop dfs不带任何参数会列出所有FsShell系统提供的命令，当你遇到问题时执行bin/hadoop dfs –help commandName会显示这个命令的用法。
下面是所有命令的介绍，介绍之前先定义一下参数的意义：
1. 斜体：表示用户输入的变量。
...
分类：
其他好文 时间：
2014-05-24 19:47:01
阅读次数：
338
配置haoop全路径：gedit.profileexportPATH=/home/hadoop/hadoop/bin:$PATH自定义命令gedit.bashrcaliasfs=‘hadoopfs‘
分类：
其他好文 时间：
2014-05-24 15:25:19
阅读次数：
254
