Hadoop 2.x 集群安装，包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类：
其他好文 时间：
2020-04-29 10:44:59
阅读次数：
76
我们知道一般的热点数据我们直接存到数据库，但是类似一些表格模板，附件等静态资源放在哪里呢？ 数据库 数据库 + 本地文件（IO流） 数据库 + 缓存 + 文件服务器（Hdfs 、fastDFS、服务器集群） 数据库 + 缓存 + 文件存储（对象存储服务OSS） 因为阿里云提供了各种常用语言的SDK, ...
分类：
其他好文 时间：
2020-04-29 10:26:48
阅读次数：
69
Hive是什么？ 个人理解是把存储在hdfs上的数据映射位一张数据库表，提供类sql（HQL）语句的查询，方便数据的分析，查询。另外一点就是自动的把HQL转化为MapRudecu、Tez、Spark执行。 Hive的架构 用户接口：可以是hive shell，jdbc（java 访问hive），we ...
分类：
其他好文 时间：
2020-04-27 15:21:33
阅读次数：
59
1.Hadoop的整体框架 Hadoop是由许多元素构成的，最核心的是HDFS（分布式文件系统），它存储了Hadoop集群中所有DataNode文件，HDFS的上一层是MapReduce引擎，MapReduce是一种计算模型，用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目 ...
分类：
其他好文 时间：
2020-04-27 13:27:50
阅读次数：
70
package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.h ...
分类：
其他好文 时间：
2020-04-27 09:35:22
阅读次数：
59
hadoop第一课：虚拟机搭建和安装hadoop及启动 hadoop第二课：hdfs集群集中管理和hadoop文件操作 hadoop第三课：java开发hdfs hadoop第四课：Yarn和Map/Reduce配置启动和原理讲解 hadoop第五课：java开发Map/Reduce ...
分类：
其他好文 时间：
2020-04-26 09:15:01
阅读次数：
50
1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == ...
分类：
其他好文 时间：
2020-04-26 01:22:24
阅读次数：
78
1、Hadoop概述 1.1 Hadoop是什么 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台 1.2 核心组件 分布式存储系统 HDFS（Hadoop Distributed File System），提供了高可靠性、高扩展性和高吞吐 ...
分类：
其他好文 时间：
2020-04-25 19:07:28
阅读次数：
107
1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上 命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external ...
分类：
数据库 时间：
2020-04-24 18:41:58
阅读次数：
109
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍； TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类：
其他好文 时间：
2020-04-21 11:23:59
阅读次数：
139
