吴超1.1 Hbase是Hadoop中的数据库，Hadoop还需要数据库吗？我们学的Hadoop是一个分布式的存储和计算的平台为什么要在他上面建一个数据库呢，数据库是干什么的呢，数据库是一个管理系统(DBMS),用来管理数据的，也就是说我们的数据是存储在磁盘中的，但是我们对这一部分的数据进行高效的查 ...
分类：
其他好文 时间：
2017-03-07 00:12:41
阅读次数：
152
Hive2.1.1的安装 1.1 在Hadoop生态圈中属于数据仓库的角色。Hive能够管理Hadoop中的数据，同时可以查询Hadoop中的数据。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 1.2 Hive定义 ...
分类：
其他好文 时间：
2017-03-05 20:43:46
阅读次数：
185
HBase HBase 是 Apache Hadoop 中的一个子项目，属于 bigtable 的开源版本，所实现的语言为Java（故依赖 Java SDK）。HBase 依托于 Hadoop 的 HDFS（分布式文件系统）作为最基本存储基础单元。 HBase在列上实现了 BigTable 论文提到 ...
分类：
数据库 时间：
2017-03-03 10:55:23
阅读次数：
223
关于块跟副本hadoop中块是一种逻辑概念而副本才是真正的物理概念，即在DataNode中存储的数据块是以一个叫做的Replica来表示的，而在NameNode中则是以Block来表示。BlockInfo是Block的子类，主要用它来表示一个数据块，这个类中最重要的就是triplets这个数组对象了，假设数据块..
分类：
其他好文 时间：
2017-02-27 21:45:00
阅读次数：
131
1. RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 ...
分类：
其他好文 时间：
2017-02-22 19:57:01
阅读次数：
221
因为最近学习hadoop中用到了动态代理的相关知识，之前AOP编程也碰到过，所以在这里特地总结一下。 在java的动态代理机制中，有两个重要的类或接口，一个是 InvocationHandler(Interface)、另一个则是 Proxy(Class)，这一个类和接口是实现我们动态代理所必须用到的 ...
分类：
编程语言 时间：
2017-02-22 16:34:54
阅读次数：
310
1.首先下载hive 下载地址 选择带有 bin 选项的 ，不然以后还要自己编译 解压安装 移动到/usr/local/hive 下 进入hive目录，进入conf 配置 hive/conf/hive-env.sh，把下面三项的注释去掉并加上地址 配置 hive/conf/hive-site.xml ...
分类：
数据库 时间：
2017-02-04 19:48:44
阅读次数：
276
P92 压缩 P102 序列化 序列化：将结构化对象转为字节流便于在网上传输或写到磁盘进行永久性存储的过程 用于进程之间的通信或者数据的永久存储 反序列化：将字节流转为结构化对象的逆过程 Hadoop中的序列化：在Hadoop中，系统中多个节点上进程间的通信是通过远程过程传输RPC来实现的。 RPC ...
分类：
其他好文 时间：
2017-01-22 13:37:33
阅读次数：
157
随着大数据时代的来临，数据体量越来越大，处理这些数据会越来越受到网络IO的限制，为了尽可能多的处理更多的数据我们必须使用压缩。那么压缩在Hadoop里面是不是所有格式都适用呢？它都有哪些性能呢？压缩在sqoop里面可以做，在hive和impala里面也可以做。那么什么情况下我们会..
分类：
其他好文 时间：
2017-01-12 03:32:35
阅读次数：
287
大数据运算模型 MapReduce 原理 2016-01-24 杜亦舒 MapReduce 是一个大数据集合的并行运算模型，由google提出，现在流行的hadoop中也使用了MapReduce作为计算模型 MapReduce 通俗解释 图书馆要清点图书数量，有10个书架，管理员为了加快统计速度，找 ...
分类：
其他好文 时间：
2017-01-08 03:55:05
阅读次数：
310
