之前用java做Hadoop相关项目没有遇到这种问题，今天使用python操作HDFS遇到这个问题，首先是权限之类的问题，在core site.xml中配置可以访问的hosts和groups， 具体： 注意xxx是管理用户名，然而我配置之后仍然出现not allowed错误，心想如果是我连接的这个用 ...
分类：
其他好文 时间：
2020-03-28 13:19:33
阅读次数：
72
Hadoop 02 核心介绍 1. HDFS HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB ...
分类：
其他好文 时间：
2020-03-27 11:15:08
阅读次数：
64
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
其实开源版最大的问题是你用着用着出现了很多问题，但是这些问题没有前人解决过。第三方发行版的好处在于运维成本低，你不需要再去踩一遍坑，人家已经把坑填上了。
分类：
其他好文 时间：
2020-03-26 16:38:12
阅读次数：
158
首先先简单介绍下hive： Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 核心架构： Hive官网地址 http:// ...
分类：
其他好文 时间：
2020-03-26 01:39:24
阅读次数：
93
kubectl 1.验证和生成器 1.1 验证客户端操作，过滤不合法的请求，如创建的资源不存在、镜像格式不正确将快速返回失败 1.2 使用generators根据需要创建的资源类型来构建runtime object，参考https://kubernetes.io/docs/reference/kub ...
分类：
其他好文 时间：
2020-03-25 21:23:05
阅读次数：
421
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类：
其他好文 时间：
2020-03-24 15:39:44
阅读次数：
82
课程里推荐安装jdk1.8，一般的企业普遍也是在使用jdk1.8，所以我这里也是安装的1.8版本 进入oracle官网下载页面 选择合适的版本下载，我这里选的是Windows64位 双击安装包 点击下一步到选择存储路径ps：hadoop开发路径不可以有空格和中文默认安装目录里带有空格所以要换目录 我 ...
巩固 1 # R-4.1 2 def find_max(data): 3 n = len(data) 4 if n == 1: 5 return data[0] 6 elif data[0] > data[1]: 7 data.pop(1) 8 elif data[0] < data[1]: 9 d ...
分类：
编程语言 时间：
2020-03-23 20:33:30
阅读次数：
80
1.名称配额 (*)Hadoop分布式文件系统( HDFS )允许管理员为使用的名字（name）数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 名称配额是对以该目录为根的树中文件和目录名称数量的硬限制。如果超过配额，创建文件和目录将会失败。配额与重 ...
分类：
其他好文 时间：
2020-03-23 15:29:01
阅读次数：
85
