hadoop发行版本 1. apache hadoop http://hadoop.apache.org/ 2. cloudera hadoop(CDH) https://www.cloudera.com/ 3. hortonworks hadoop(HDP) https://hortonworks ...
分类：
其他好文 时间：
2019-01-03 15:02:32
阅读次数：
264
2018的最后一个工作日，是在调式和诊断问题的过程中度过，原本可以按时下班，毕竟最后一天了，然鹅，确是一直苦苦挣扎。 废话不多说，先描述一下问题：有一套大数据环境，是CDH版本的，总共4台机子，我们的应用程序与大数据集群之前已经集成完毕，调试没有问题，可以运行Spark任务。而与这个集群集成是17年 ...
分类：
其他好文 时间：
2019-01-01 17:54:05
阅读次数：
278
CDH安装的ZK，三个节点，基本都是默认配置，一直用得正常，今天出现问题，客户端连接超时6倍时长，默认最大会话超时时间是一分钟。原因分析：1.首先要确认网络正确。确认时钟同步。2.查看现有的配置，基本都是默认配置 JVM配置是1G 有 2g的，不一样3.查看dataDir目录，du -sh .发现已 ...
分类：
其他好文 时间：
2018-12-31 22:00:50
阅读次数：
337
参考 1. "Cloudera Enterprise 5.16.x" 2. "Installing Cloudera Manager, CDH, and Managed Services" 3. "Installation Path B Manual Installation Using Cloud ...
分类：
其他好文 时间：
2018-12-27 22:59:00
阅读次数：
2794
一、说明 二、系统环境搭建 1、网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录 1．产生公钥和私钥：ssh-keygen -t rsa （一直回车直即可） 2．将公钥分发给所有节点（包括本机)： ssh-copy-id -i 主机名 ...
分类：
其他好文 时间：
2018-12-24 02:44:31
阅读次数：
180
1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而Y ...
分类：
其他好文 时间：
2018-12-19 12:59:34
阅读次数：
168
Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。1.文档编写目的Gateway节点又称为客户端节点，通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置，脚本命令，比如HDFS的core-site.xml，hdfs-site.xml以
分类：
其他好文 时间：
2018-12-17 02:45:30
阅读次数：
212
ClouderaManager大数据平台视频教程课程分享链接:https://pan.baidu.com/s/15QQ6kodiJ_mPqrUobnBSQQ密码:winqClouderaManager是用于管理CDH群集的端到端应用程序。ClouderaManager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准，使运营商能够提高性能，提高服务质量，提高合规性并降低管理成本
分类：
其他好文 时间：
2018-12-14 13:58:51
阅读次数：
355
如果oozie使用kill -9 暴力杀死了tomcat，再启动的时候，会出问题，需要删除tomcat的pid文件 彻底停止oozie的tomcat的进程，然后删除pid文件 rm -rf /export/servers/oozie-4.1.0-cdh5.14.0/oozie-server/temp ...
分类：
其他好文 时间：
2018-12-13 20:21:54
阅读次数：
1295
基于版本：CDH5.4.2 上述版本较老，但是目前生产上是使用这个版本，所以以此为例。 1. 概要 说明： 客户端API发送的请求将会被RPCServer的Listener线程监听到。 Listener线程将分配Reader给到此Channel用户后续请求的相应。 Reader线程将请求包装成Cal ...
分类：
其他好文 时间：
2018-12-12 15:45:16
阅读次数：
278
