HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...
分类：
其他好文 时间：
2015-01-20 17:01:44
阅读次数：
170
HDFS是HADOOP中的核心技术之一——分布式文件存储系统。Hadoop的作者Doug Cutting 和Mike 是根据Google发布关于GFS 的研究报告所设计出的分布式文件存储系统。一、HDFS设计的前提或者假设有6个：硬件错误是常态而不是异常。对于普通的每台机器来说，出现故障可能并是.....
分类：
其他好文 时间：
2015-01-17 20:47:57
阅读次数：
322
Java 动态代理一个简单的demo：（用以对比Hadoop中的动态代理） Hello接口： public interface Hello { void sayHello(String to); void print(String p); } Hello接口的实现类： public class He...
分类：
其他好文 时间：
2015-01-14 19:38:37
阅读次数：
166
我们的Hadoop生产环境有两个版本，其中一个是1.0.3，为了支持日志压缩和split，我们添加了hadoop-1.2中关于Bzip2压缩的feature. 一切运行良好。
为了满足公司对迭代计算的需求(复杂HiveSQL,广告推荐算法，机器学习 etc), 我们构建了自己的Spark集群，最初是Standalone Mode，版本spark-0.9.1,支持Shark。
上线后，问题接踵而...
分类：
编程语言 时间：
2015-01-14 11:10:35
阅读次数：
403
HDFS是hadoop项目的核心子项目，是Hadoop主要的一个分布式文件系统。实际上，hadoop中有一个文件系统抽象，它提供了文件系统实现的各类接口，HDFS只是这个抽象文件系统的一个实例。文件系统 URI JAVA实现定义Localfilefs.LocalFileSystem本地文...
分类：
其他好文 时间：
2015-01-13 01:17:53
阅读次数：
180
安装好Hadoop后，使用jps会出现一下几个进程
master中有：
namenode
secondaryNameNode
jobTracker
slaves中有
tasktracker
datanode
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
2. Second...
分类：
系统相关 时间：
2015-01-10 13:57:03
阅读次数：
232
hadoop中重要的组成部分HDFS，它所发挥的重要作用是进行文件的后端存储。HDFS针对的是低端的服务器，场景为读操作多、写操作少的情况。在分布式存储情况下，比较容易出现的情况是数据的损害，为了保证数据的可靠和完整，实现了数据的检验和（checksum）和多副本放置策略等措施。在HDFS中采...
分类：
其他好文 时间：
2015-01-10 11:13:55
阅读次数：
325
目录：1-HBase的安装2-Java操作HBase例子3-HBase简单的优化技巧4–存储5(集群) -压力分载与失效转发6 -白话MySQL(RDBMS)与HBase之间7 -安全&权限1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于H...
分类：
其他好文 时间：
2015-01-07 00:35:53
阅读次数：
268
1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo...
分类：
其他好文 时间：
2015-01-06 15:21:31
阅读次数：
187
HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。 如果把整个hadoop当做一个java中的类的话，那么HDFS就是这个类的静态变量，其他的项目是hadoop中的方法...
分类：
其他好文 时间：
2014-12-31 22:46:33
阅读次数：
301
