GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。
该技术包括两个单元：和Hadoop HDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统的MapReduce进行了扩展，为大数据处理情况提供了更好的性能。...
分类：
其他好文 时间：
2014-10-16 17:15:42
阅读次数：
235
HDFS概述
HDFS不适合低延迟，小文件多，采用流式访问，一个时间点只有一个写入。HDFS采用主从结构，一个NameNode，多个DataNode。Namenode是文件系统元数据的数据存储库，它保存了文件信息，以及两个映射关系（文件与数据块的映射，块与DataNode数据节点的映射关系）。文件名到数据块的映射关系由于只被NameNode独知，因此它不仅需要在NameNode内存存储，...
分类：
其他好文 时间：
2014-10-15 18:07:01
阅读次数：
727
四、配置Master容错1.修改Tachyon配置[root@node1conf]#pwd/usr/local/tachyon/conf
[root@node1conf]#tailtachyon-env.sh
JAVA_HOME=/usr/java/default
exportTACHYON_MASTER_ADDRESS=node1
exportTACHYON_UNDERFS_ADDRESS=hdfs://node2:9000
-Dtachyon.master.journal.folder..
分类：
其他好文 时间：
2014-10-15 16:04:11
阅读次数：
252
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。...
分类：
其他好文 时间：
2014-10-15 12:01:40
阅读次数：
199
Decommission Datanode就是把Datanode从HDFS集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？我认为理论上可行的，不过在实际的集群中，如果某份数据只有一份拷贝而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission Datanode以及可能会遇到的一些问题及其解决办法。...
分类：
其他好文 时间：
2014-10-15 00:13:09
阅读次数：
470
HDFS文件上传：8020端口拒绝连接问题解决！CopyFromLocal:Calltolocalhost/127.0.0.1:8020failedonconnectionexception:java.net.ConnectException问题提示本机的8020端口无法连接。网络上面找到一篇文章是将core-site.xml里面的配置端口修改成8020，但是我们现在依然用他默认..
分类：
Web程序 时间：
2014-10-14 20:49:39
阅读次数：
786
将手机上网日志文件批量导入到Hbase中，操作步骤：
1、将日志文件(请下载附件)上传到HDFS中，利用hadoop的操作命令上传：hadoop fs -put input /
2、创建Hbase表，通过Java操作
Java代码
package com.jiewen.hbase; import java.io.IOException;...
分类：
编程语言 时间：
2014-10-14 16:27:40
阅读次数：
367
一、Crontab -e 加入输出Log*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1二、查看Log发现，找不到Hadoop三、脚本中指定Hadoop完整路径#!/bin/sh#upload list t...
分类：
Web程序 时间：
2014-10-13 22:51:47
阅读次数：
659
分区考虑，不要使用LVMroot-->20Gswap--2倍系统内存Masternode:RAID10,dualEthernetcards,dualpowersupplies,etc.Slavenode:1.RAIDisnotnecessary2.HDFS分区,notusingLVM/etc/fstab--ext3defaults,noatime挂载到/data/N,forN=0,1,2...(onepartitionperdisk)Clouderareposito..
分类：
其他好文 时间：
2014-10-13 02:02:10
阅读次数：
739
1、Hadoop错误：Name node is in safe mode解决：关闭Hadoop安全模式 hadoop dfsadmin -safemode leave2、解压缩.gz 和 .bz2格式文件.tar.gz 格式解压为 tar -zxvf xx.tar.gz.tar....
分类：
其他好文 时间：
2014-10-13 00:21:48
阅读次数：
210
