import java.io.File;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
分类：
其他好文 时间：
2014-06-18 20:12:01
阅读次数：
254
hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
至此，你应该已经完成以下前期准备事情：1.安装完JDK2.安装完SDK（并在Manager中进行相关版本的更新）3.相关IDE（如eclipse）4.安装完ADT5.安装完AVD（如果你是真机模拟的话也可以不安装）前期环境搭建基本完成，并按照网上的教程可以运行出HelloWorld，确保可以流程走的...
分类：
移动开发 时间：
2014-06-18 19:05:08
阅读次数：
336
原文:.Net码农学Android---系统架构和基本概念至此，你应该已经完成以下前期准备事情：1.安装完JDK2.安装完SDK（并在Manager中进行相关版本的更新）3.相关IDE（如eclipse）4.安装完ADT5.安装完AVD（如果你是真机模拟的话也可以不安装）前期环境搭建基本完成，并按照...
分类：
移动开发 时间：
2014-06-18 18:36:46
阅读次数：
336
二、Hadoop目录结构这里重点介绍几个目录bin、conf及lib目录。1、$HADOOP_HOME/bin目录文件名称说明hadoop用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心hadoop-config.shHadoop的配置文件hadoop-daemon.sh通过执行hadoop命令来启动/停止一个守护进程(daemon)。该命令...
分类：
其他好文 时间：
2014-06-16 23:13:29
阅读次数：
338
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
四、测试Hadoop一个简单的求每年温度最大值的程序。1、准备两个文本测试数据准备两个名为data1.txt及data2.txt的文件，用于做为计算的输入数据，将其放于/home/fenglibin/java/data目录下：data1.txtdata2.txt1999 101999 201999 252000 212000 222000 182000 402001 452001 652002 9...
分类：
其他好文 时间：
2014-06-16 20:52:57
阅读次数：
443
三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称默认值说明JAVA_HOME 设置JDK的路径，这个必须设置，否则Hadoop无法启动，值如：/usr/local/jdk1.6.0_33HADOOP_CLASSPATH空这个用以设置用户的类路径，也可以在...
分类：
其他好文 时间：
2014-06-16 19:59:35
阅读次数：
380
基于Windows来开发Android的NDK，JNI需要的环境搭建，所需要的软件如下：
Android 开发环境的基本配置（SDk，ADT，Eclipse IDE，JDK）
这些都是基本的环境搭建就不细说了，参考网上文章就OK了。
Apache ANT构建系统
主要是用来构建NDK编译系统的，下载地址:apache-ant-1.9.4...
分类：
其他好文 时间：
2014-06-16 18:47:32
阅读次数：
185
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
