uat（装在214上，在214上执行）: cat /etc/ansible/hosts 已添加组： [hdp] 172.30.64.214 ansible_ssh_user=root 172.30.64.213 ansible_ssh_user=root 172.30.64.216 ansible_ ...
分类：
其他好文 时间：
2016-06-14 17:37:30
阅读次数：
139
Ambari Server 升级手册 * 注意事项： 升级Ambari Server需要重启HDP服务，重启HDP服务之前请关闭正在进行的业务服务(如：Mapreduce job)，以免数据丢失； Ambari Server 2.0.0版本以后集成了新的运维监控服务Ambari Metrics，Na ...
分类：
其他好文 时间：
2016-06-14 17:36:58
阅读次数：
278
背景: 编写了一个MapReduce程序，发现该程序内存占用非常多，需要有一种方法来分析内存详细的占用情况。 可以使用linux上的pmap –d 来看进程逻辑地址空间使用情况，但是会有很多anno区域，显然这不能够满足同学们的好奇心。 在这篇文章Eclipse远程调试HDP源代码中，提到使用JMX... ...
分类：
编程语言 时间：
2016-05-26 09:56:53
阅读次数：
167
1.1. RHEL/CentOS/Oracle Linux 6 On a server host that has Internet access, use a command line editor to perform the following steps: Log in to your ho ...
分类：
其他好文 时间：
2016-05-18 17:33:57
阅读次数：
125
使用 Hadoop Mapreduce 进行数据处理 1. 综述 使用HDP（下载: http://zh.hortonworks.com/products/releases/hdp-2-3/#install）搭建环境，进行分布式数据处理。 项目文件下载，解压文件后将看到项目文件夹。该程序将读取 cl ...
分类：
其他好文 时间：
2016-04-14 19:32:24
阅读次数：
325
Kafka版本0.8.1-0.8.2一、创建topic模板：/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-topics.sh--create--zookeeperIP:2181--replication-factor2--partitions30--topicTEST二、删除topic模板：（指定所有zookeeperserverIP）/usr/hdp/2.2.0.0-2041/kafka/bin/kafka-run-class.shk..
分类：
其他好文 时间：
2016-01-28 19:31:15
阅读次数：
205
利用Eclipse进行HBase应用开发时，至少需要确定三个配置信息，如下表所示： #hbase config #HMaster服务部署主机及端口号 hbase.master=hdp-wuyong:60010 #Zookeeper端口号 hbase.zookeeper.property.client...
分类：
其他好文 时间：
2015-12-25 18:39:53
阅读次数：
162
一、hadoop2.0安装部署流程 1、自动安装部署：Ambari、Minos（小米）、Cloudera Manager（收费） 2、使用RPM包安装部署：Apache hadoop不支持、HDP与CDH提供 3、使用jar包安装部署：各版本均提供。（初期为了理解hadoop，建议使用这种方式） 部...
分类：
其他好文 时间：
2015-11-15 23:16:32
阅读次数：
259
1. 搭建一个测试集群，集群有4台机器，配置集群中每一台机器的/etc/hosts文件： [root@nn .ssh]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomai...
分类：
其他好文 时间：
2015-10-27 17:23:27
阅读次数：
387
http://www.swiss-scalability.com/2014/12/install-hdp-22-on-ubuntu-1404-trusty.html在新加节点上运行sed -e "s/14.04/12.04/g" -i /etc/*-release
分类：
系统相关 时间：
2015-10-08 17:57:33
阅读次数：
211
