server { listen 80; server_name www.test.com; rewrite ^(.*)$ https://${server_name}$1 permanent; } server { listen 443; server_name www.test.com； ssl ...
分类：
其他好文 时间：
2020-07-15 13:09:13
阅读次数：
68
这个事情的背景是公司的Hadoop生态集群都是原生的，不是基于CDH的，所以基本所有的东西都需要自己手动管理，比如集群修改一些属性，然后批量分发重启或者动态生效之类的。这次也算不上事故，因为没对生产环境造成什么影响，但是差一点就变成事故，写出来分享一下。 事情简单概括就是，60+台hadoop的集群 ...
分类：
其他好文 时间：
2020-07-14 13:10:45
阅读次数：
72
hadoop生产环境的使用是很复杂的，有些公司是CDH或者Ambari等管理工具运维的，有些是原生的集群俗称裸奔，前者优缺点是运维，查看监控等容易，对于底层理解不友好；裸奔集群反之，裸奔集群的很多东西都需要定制和自己开发，比如监控用zabbix，告警用企业微信，节点的异构严重的，需要二次开发配置文件 ...
分类：
其他好文 时间：
2020-07-13 13:17:45
阅读次数：
65
CDH中hive报端口被占用，经排查并进行以下操作后恢复正常。 通过查看hive日志可用发现10000端口已经被占用，通过命令行可用查找出被占用端口的相应进程；将被占用端口的进程删掉（kill 187393）后，重启hive即恢复正常 ...
分类：
其他好文 时间：
2020-07-13 11:17:25
阅读次数：
62
CDH 运行一段时间就提示：请求 Service Monitor 超时。这可能会导致页面响应缓慢。请查看 Service Monitor 的状态。 此类问题，是由于相关monitor服务的jvm配置太小导致，随着cloudera的业务量加大，垃圾回收内容增多等原因导致过载，稳定性直接受影响甚至服务进 ...
分类：
其他好文 时间：
2020-07-13 11:16:38
阅读次数：
100
目前maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖，则必须单独添加cloudera仓库。 一、项目pom.xml, 添加仓库配置 <repositories> <repository> <id>cloudera</id> <url> ...
分类：
其他好文 时间：
2020-07-04 22:45:15
阅读次数：
129
环境：cdh集群5.15 ，redhat7 有一台zookeeper无法启动，查看日志报错如下 2020-07-04 14:24:23,880 ERROR org.apache.zookeeper.server.persistence.Util: Last transaction was parti ...
分类：
数据库 时间：
2020-07-04 17:03:20
阅读次数：
125
一、概述 1.Hadoop 是 Apache提供的开源的、可靠的、可扩展的，用于分布式计算的框架 2.Hadoop 除了官网提供的发行版本以外，各大厂商也提供了发行版：Cloudera的CDH、华为的HDP 二、发展 1.创始人：Doug Cutting和Mike Cafarella 2.在2002 ...
分类：
其他好文 时间：
2020-06-21 13:27:38
阅读次数：
141
1 hadoop 在虚拟机上的安装与配置 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 演示的下载包 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 下载解压 环境c ...
分类：
其他好文 时间：
2020-06-20 00:48:56
阅读次数：
63
● 系统环境说明 Linux环境：centos7.4 CDH：5.16.1 Java：1.8.0_131 LDAP版本：1.15.1 ● 集群配置 机器数量：50 内存：64G 硬盘：4T CPU核心数：32 Kerberos部署 cdh01.ali.aiwaystack.com作为Kerberos ...
分类：
其他好文 时间：
2020-06-09 16:33:37
阅读次数：
74
