MyCat 什么是MyCAT？ 官方网站：http://www.mycat.org.cn/ 简单的说，MyCAT就是： · 一个彻底开源的，面向企业应用开发的“大数据库集群” · 支持事务、ACID、可以替代Mysql的加强版数据库 · 一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的O ...
分类：
数据库 时间：
2020-01-03 00:57:31
阅读次数：
115
一、 hive流程 hive与hdfs 和 yarn、mr 交互 动态 First : hive从 hdfs中拉取数据 （ .txt文件） Second : hive 与 SQL 交互。。。即 获取 模板信息 ※ ： 模板信息 三个映射 A 表 与 文件 B 字段 与 文件内容 C 分割符 deli ...
分类：
其他好文 时间：
2020-01-02 22:21:16
阅读次数：
76
在虚拟机中搭建hive之后，创建了表，在执行select * from tablename的时候报错，具体报错信息如下： hive> select * from hive_01; FAILED: SemanticException Unable to determine if hdfs://mast ...
分类：
其他好文 时间：
2020-01-01 20:18:25
阅读次数：
136
服务器和客户端的概念 hdfs的客户端有多种形式 ...
分类：
其他好文 时间：
2020-01-01 09:51:09
阅读次数：
62
HDFS分布式文件系统概述 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名： hdp01 对应的ip地址：192.168.11.25 主机名： hdp02 对应的 ...
分类：
其他好文 时间：
2020-01-01 09:29:00
阅读次数：
85
转：https://blog.csdn.net/qx12306/article/details/67014096 Sqoop是一款开源的工具，主要用于在Hadoop相关存储（HDFS、Hive、HBase）与传统关系数据库（MySql、Oracle等）间进行数据传递工作。Sqoop最早是作为Hado ...
分类：
数据库 时间：
2019-12-31 17:07:17
阅读次数：
126
1.准备一台Vmware虚拟机，添加hdfs用户及用户组，配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户，并设置密码： 将hdfs用户添加到hdfs用户组中 前面一个hdfs是组名，后面一个hdfs是用户名 ...
分类：
其他好文 时间：
2019-12-29 23:50:10
阅读次数：
271
一、为什么namenode持久化 namenode通过内存存储hdfs集群的元数据（目录结构 文件信息 块对应关系），如果内存出现问题，那么会数据丢失，需要通过持久化，把内存中的数据定期的存储在硬盘中，进而保证namenode的数据安全。 二、持久化的原理 1、FSImage (某一时刻 namen ...
分类：
其他好文 时间：
2019-12-29 18:48:03
阅读次数：
133
启动和关闭Hadoop集群命令步骤总结： 1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -repor ...
分类：
其他好文 时间：
2019-12-28 22:47:34
阅读次数：
878
