一 HBaes 介绍 1.1 HBase 的起源 HBase 的原型是 Google 的 BigTable 论文，受到了该论文思想的启发，目前作为 Hadoop 的子项目来开发维护，用于支持结构化的数据存储。 Apache HBase?是Hadoop数据库，这是一个分布式，可扩展的大数据存储。 当您 ...
分类：
数据库 时间：
2018-06-05 00:41:53
阅读次数：
2144
Hadoop, 源代码 ,系统结构 ,HDFS, YARN ...
分类：
其他好文 时间：
2018-06-03 19:34:29
阅读次数：
191
HDFS的特点和目标： HDFS设计优点： （一）高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖; （二）高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 （三）高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节 ...
分类：
其他好文 时间：
2018-06-02 20:40:58
阅读次数：
1165
一、准备 1、关闭cdh中的服务 hdfs、yarn等所有服务；关闭 cm-server、cm-agent；备份cm元数据库。 2、下载 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha ...
分类：
其他好文 时间：
2018-06-01 20:38:36
阅读次数：
327
课程目录：01.HDP介绍02.环境准备--ntp--java--selinux--hosts--hostname--ip03.环境准备--克隆机器--配置IP和HostName03.环境准备--克隆机器--配置IP和HostName04.环境准备--安装MySQL--配置免密04.环境准备--安装 ...
分类：
其他好文 时间：
2018-05-22 22:26:10
阅读次数：
386
一、hadoop fs 1、创建目录 加 -p 则创建多级目录 2、ls,列出指定目录的所有文件或文件夹 加 -R，列出所有级的目录和文件 3、copeFromLocal，复制本地文件到hdfs的目录，除了限定源路径是一个本地文件外，和put命令相似，如果要强制复制文件 加-f 也可以一次复制多个文 ...
分类：
其他好文 时间：
2018-05-18 23:32:25
阅读次数：
286
原文链接：https://blog.csdn.net/lylcore/article/details/9136555 hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是ma ...
分类：
其他好文 时间：
2018-05-18 23:28:33
阅读次数：
232
2. 数据表创建： 2.1 将数据表中的字段也同样拆分成数据字段的创表语句（还没有试验， 暂时不用） 3. 启动flume语句：flume 根目录 4. 启动hive语句: hive bin目录 ...
分类：
Web程序 时间：
2018-05-18 13:50:03
阅读次数：
186
一、Hadoop框架 1.HDFS（分布式文件系统） 2.MapReduce（分布式计算框架） 3.YARN（集群资源管理器） 4.Zookeeper（分布式协作服务） 5.Ambari（管理工具） 二、Spark（内存计算框架） 1.Scala 2.Spark SQL 3.Spark Stream ...
分类：
其他好文 时间：
2018-05-18 11:28:00
阅读次数：
137
通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 20:44:29
阅读次数：
152
