import java.io.File;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop....
分类：
其他好文 时间：
2014-06-18 20:12:01
阅读次数：
254
二、Hadoop目录结构这里重点介绍几个目录bin、conf及lib目录。1、$HADOOP_HOME/bin目录文件名称说明hadoop用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心hadoop-config.shHadoop的配置文件hadoop-daemon.sh通过执行hadoop命令来启动/停止一个守护进程(daemon)。该命令...
分类：
其他好文 时间：
2014-06-16 23:13:29
阅读次数：
338
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量，在1.2.1版中共有19个环境变量，如下： 变量名称默认值说明JAVA_HOME 设置JDK的路径，这个必须设置，否则Hadoop无法启动，值如：/usr/local/jdk1.6.0_33HADOOP_CLASSPATH空这个用以设置用户的类路径，也可以在...
分类：
其他好文 时间：
2014-06-16 19:59:35
阅读次数：
380
现在，越来越多的用户考虑在IT环境中实施多种虚拟化hypervisor，开源成为不错的选择。基于内核的虚拟机KVM技术逐渐流行，它有世界最大的Linux提供商红帽支持并推广，还有IBM提供管理技术。多数主流Linux版本现在都内置KVM，比如RedHatEnterpriseLinux（RHEL），或者将KVM作为独..
分类：
其他好文 时间：
2014-06-16 17:55:12
阅读次数：
295
快半年未更新blog，都快要忘记这里了。这半年内，升级做了父亲，有个宝宝后家里的事比之前忙多了，而且忙的不亦乐乎。这半年内，工作内容也是多样化，好几个重点任务，都要兼顾却精力不够，导致工作任务管理有些混乱。大数据、虚拟化技术需要学习，多个项目管理等需要统筹。技..
分类：
其他好文 时间：
2014-06-16 17:12:04
阅读次数：
259
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
搭建红帽虚拟化平台RHEV之主机host安装：如何给予rhel安装host主机，详情见下文：//操作系统：RHEV-HFORRedHatEnterpriseLinuxHost(v.6.5x86_64)安装3.3版本的rhev必须安装6.5以上版本的操作系统软件#安装官网下载的RHEL6.5.x86_64DVDISO：rhel-server-6.5-x86_64-dvd.isoGroup..
分类：
其他好文 时间：
2014-06-16 16:30:53
阅读次数：
200
2014年第一届电商技术大会由商派牵头在上海举行，抱着有空去凑热闹兼蹭饭的心理去参加了。黄兴公园小南国，UCloud,支付宝，阿里云，1号店等，还有几个小而有特色的公司代表作为嘉宾发言，还是挺有意思的。不过饭只蹭到了一顿兰州拉面+巴比馒头…1号店主讲个性化推荐，号称全站..
分类：
其他好文 时间：
2014-06-16 15:43:46
阅读次数：
319
众所周知，DatagridView控件来处理表各类数据真的是“简单、方便、疗效快”，因此备受广大民众喜爱。今天我们再来继续探讨一下有关它和Excel的“姊妹情深”。
几乎没有人不对Excel不了解，但要说熟悉和认识透彻恐怕我们还远远没有做到（这是题外之言），重点还是Excel的强大数据处理能力带给我们的便利，所以把DatagridView数据表变为老少皆宜的Excel表格就显...
