案例取自streaming-app项目package com.asiainfo.ocdc.streaming.toolsimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.conf.Configurati...
分类：
其他好文 时间：
2014-07-29 11:02:26
阅读次数：
1081
摘要：上次小编介绍了三位计算机领域的大神：计算机之父艾伦·麦席森·图灵、Hadoop之父Doug Cutting和Amazon AWS推动者Werner Vogels，他们分别因为超凡的创造力、顶级的成功技术、扬名天下的项目而被我们熟知。今天小编接着聊一聊那些我们终其一生都无法超越的程序员，当然，今天的会有所不同哦。
世界上第一个程序员是个女士
1815年出生于伦敦的阿达·洛芙...
分类：
其他好文 时间：
2014-07-28 15:47:53
阅读次数：
324
由于需要搭建hadoop平台，但是苦于没有现成可用的linux服务器，只好自己下载了CentOS 6.5从头装起，安装过程中遇到了很多问题，比如网络配置、时钟同步、环境变量配置、以及各种服务的启停，还有jdk的安装等（虽然系统自带JDK，但是本人过于低端，自带的JDK的安装路径都搞不明白，就干脆.....
分类：
系统相关 时间：
2014-07-28 15:34:13
阅读次数：
416
hadoop fs列出所有的命令hadoop fs -help ls列出某个命令的详细信息hadoop dfs -mkdir /data/weblogshadoop dfs -mkdir /data/dir1 /data/dir2 ...创建文件夹,可以递归创建,可同时创建多个目录echo "Hel...
分类：
其他好文 时间：
2014-07-28 15:08:23
阅读次数：
224
1、在打算做namenode的机器上，wget或其他方式下载hadoop的压缩包，并解压到本地指定目录 下载解压命令参考Linux常用命令。 2、配置namenode，修改site文件 修改core-site.xml <configuration>
??<property>
?...
分类：
其他好文 时间：
2014-07-28 00:48:29
阅读次数：
214
本文主要讲解了自己阅读nutch中Generate整个运行过程，Generate主要分为以下几个部分：以前面的Inject过程得到的输出crawldb为输入提交job并得到抓取列表存放在临时文件夹中；再以该临时文件夹中的数据为输入提交一个job并得到一个输出segments；最后更新crawldb，...
分类：
其他好文 时间：
2014-07-27 23:17:09
阅读次数：
338
（1）为了操作方便，需获取root权限，否则每次sudo 然后输入密码，较为麻烦默认的root密码是随机的，设置新的root密码的方法: sudo passwd设置了新的密码后，su root 切换到root权限用户（2）haoop要求的是sun jdk， openjdk不可以
分类：
其他好文 时间：
2014-07-27 22:37:09
阅读次数：
243
Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序，并让它跑起来了。但想想不对啊，Hadoop不是有两块功能么，DFS和MapReduce。没错，上一节我们写了一个MapReduce的HelloWorld程序，那这一节，我们就也学一学DFS程序的编写。....
分类：
其他好文 时间：
2014-07-27 22:24:49
阅读次数：
280
转载请注明出处： jiq?钦's technical Blog - 季义钦
一、开篇
淘宝之前使用的存储层架构一直是MySQL数据库，配合以MongDB，Tair等存储。
MySQL由于开源，并且生态系统良好，本身拥有分库分表等多种解决方案，因此很长一段时间内都满足淘宝大量业务的需求。但是由于业务的多样化发展，有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化：
(1)...
分类：
数据库 时间：
2014-07-27 11:22:22
阅读次数：
446
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的，所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。 下载 进入官网：http://eclipse.org/downloads/。 找到相应....
分类：
其他好文 时间：
2014-07-27 10:35:02
阅读次数：
209
