之前用java做Hadoop相关项目没有遇到这种问题，今天使用python操作HDFS遇到这个问题，首先是权限之类的问题，在core site.xml中配置可以访问的hosts和groups， 具体： 注意xxx是管理用户名，然而我配置之后仍然出现not allowed错误，心想如果是我连接的这个用 ...
分类：
其他好文 时间：
2020-03-28 13:19:33
阅读次数：
72
Hadoop 02 核心介绍 1. HDFS HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB ...
分类：
其他好文 时间：
2020-03-27 11:15:08
阅读次数：
64
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
其实开源版最大的问题是你用着用着出现了很多问题，但是这些问题没有前人解决过。第三方发行版的好处在于运维成本低，你不需要再去踩一遍坑，人家已经把坑填上了。
分类：
其他好文 时间：
2020-03-26 16:38:12
阅读次数：
158
有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 ...
分类：
其他好文 时间：
2020-03-26 13:56:37
阅读次数：
103
首先先简单介绍下hive： Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 核心架构： Hive官网地址 http:// ...
分类：
其他好文 时间：
2020-03-26 01:39:24
阅读次数：
93
Hbase架构原理解析 https://developer.51cto.com/art/201904/595698.htm HBase 架构 HBase 的架构似乎也是 master-slave 架构，和 HDFS 有点像，HMaster 是用来管理集群，HRegionServer 是真正存储数据的 ...
分类：
其他好文 时间：
2020-03-26 01:03:42
阅读次数：
70
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类：
其他好文 时间：
2020-03-24 15:39:44
阅读次数：
82
课程里推荐安装jdk1.8，一般的企业普遍也是在使用jdk1.8，所以我这里也是安装的1.8版本 进入oracle官网下载页面 选择合适的版本下载，我这里选的是Windows64位 双击安装包 点击下一步到选择存储路径ps：hadoop开发路径不可以有空格和中文默认安装目录里带有空格所以要换目录 我 ...
一、环境准备 需要将HBase的jar包拷贝到Hive中，以便Hive运行时能访问到Hbase 这里演示创建软连接的方式 ln -s $HBASE_HOME/lib/HBase-common-1.3.1.jar $HIVE_HOME/lib/HBase-common-1.3.1.jar ln -s ...
分类：
其他好文 时间：
2020-03-23 20:32:49
阅读次数：
79
