前面4篇文章介绍了如何编写一个简单的日志提取程序，读取HDFS share/logs目录下的所有csv日志文件，然后提取数据后，最终输出到share/output目录下。本篇停留一下，梳理一下主要过程，然后提出新的改进目标。首先声明一下，所有的代码都是maven工程的，没有使用任何IDE。 这是我一贯的编程风格，用Emacs + JDEE开发。需要使用IDE的只需要学习如何在IDE中使用mave...
分类：
其他好文 时间：
2014-09-27 22:45:50
阅读次数：
256
MapReduce程序编译是可以在普通的Java环境下进行，现在来到真实的环境上运行。首先，将日志文件放到HDFS目录下$ hdfs dfs -put *.csv /user/chenshu/share/logs/
14/09/27 17:03:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your...
分类：
其他好文 时间：
2014-09-27 21:04:00
阅读次数：
233
HDFS特点概述
Hadoop整合抽象了众多的文件系统类，HDFS只是其中一种的具体实现。它是基于流数据模式和处理超大文件的需求开发的，主要特点如下：
处理超大文件
这里的超大文件通常是指MB到TB级别的数据文件，在实际应用中已经可达到PB级。
流式地访问数据
HDFS提供一次写入，多次读取的服务。...
分类：
其他好文 时间：
2014-09-27 20:51:00
阅读次数：
665
error： No architectures to compile for (ONLY_ACTIVE_ARCH=YES, active arch=x86_64, VALID_ARCHS=i386).解决方法：set the "Build Active Architecture Only" and ...
分类：
其他好文 时间：
2014-09-26 23:28:08
阅读次数：
233
1. CURL安装
cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。CURL官方网站：http://curl.haxx.se/
1.1 Linux安装
这个网上资料比较多，只要搜索“curl 安装 linux”就应该有不少介绍。
1....
1、前言 Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems（Eucalyptus）是一种开源的软件基础结构，用来通过计算集群或工作站群实现弹性的、实用的云计算。它最初是美国加利福尼亚....
一。thread-per-connectionThe thread-per-connection approach uses an exclusive worker thread foreach connection. Within the handling loop, a worker threa...
分类：
其他好文 时间：
2014-09-25 21:51:07
阅读次数：
185
1，进入yum的repo文件夹cd /etc/yum.repos.d2，mysql主页已经提供了centos等系统需要的rpm文件，直接去主页下载。我用的centos6.5，选择Red Hat Enterprise Linux 6 / Oracle Linux 6 (Architecture Ind...
分类：
数据库 时间：
2014-09-25 21:23:17
阅读次数：
253
java语言的11个特性： java语言是一种简单的(Simple)，面向对象的(Object-Oriented),分布式的(Distributed)，解释性的(interpreted)，健壮的(Robust)，安全的(Secure)，结构中立的(Architecture-neutral)，可移植...
分类：
编程语言 时间：
2014-09-25 14:35:39
阅读次数：
253
1、确认java已经安装[root@carefree~]#java-version
javaversion"1.7.0_51"
Java(TM)SERuntimeEnvironment(build1.7.0_51-b13)
JavaHotSpot(TM)64-BitServerVM(build24.51-b03,mixedmode)Hadoop2.2官方建议使用jdk1.6（sun）以上，我们这里使用1.7。Jdk安装比较简单，不做演示..
分类：
系统相关 时间：
2014-09-24 19:07:18
阅读次数：
318
