现象： 集群大面积异常，通过ambari启动不起来。逐一排查，顺序 hdfs -> mapreduce->yarn->hive -other hdfs下发现namenode ,datanode启动不起来 namenode报错如下 【namenode.NameNode: Failed to start ...
分类：
其他好文 时间：
2016-11-17 13:10:38
阅读次数：
430
第一步：【db升级 ，先看第二步】 cd到 hive的 metastore upgrade目录 cd /usr/hdp/2.5.0.0-1245/hive/scripts/metastore/upgrade/mysql source 历史版本至升级版本的sql 第二步： 修改ambari hivem ...
分类：
Web程序 时间：
2016-11-05 12:27:45
阅读次数：
884
8张图片认识hadoop家族的几个重要组成。 ...
分类：
其他好文 时间：
2016-10-26 00:25:59
阅读次数：
153
[转载] http://www.cbdio.com/BigData/2016-02/16/content_4617126.htm 在数据资产管理领域，有着许多相似的概念和词汇。譬如说“数据管理”和“数据治理”，像孪生兄弟一样让人纠结不已。上周，与一个朋友聊起元数据、主数据和参考数据的关系是什么。这个 ...
分类：
其他好文 时间：
2016-10-17 20:26:45
阅读次数：
191
1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz 2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.7 3.配置环境变量 HADOOP_HOME:D:\bigdata\hadoop-2.7.2 SPARK_HOME:D:\bigdata\s ...
以前一直搞不懂linux软连接用什么 只知道是类似于linux的快捷方式 sudo ln -s /home/hadoop/bigdata/jdk1.7.0_79/ /usr/local/jdk（创建软连接的方式） 此语句会创建 /home/hadoop/bigdata/jdk1.7.0_79/ 的一 ...
分类：
系统相关 时间：
2016-09-07 01:23:41
阅读次数：
241
1、安装jdk 2、安装scala，更改/etc/profile 加入： export SCALA_HOME=/root/bigData/scala-2.11.8 export PATH=${SCALA_HOME}/bin:$PATH source /etc/profile 生效 测试：直接输入sc ...
分类：
其他好文 时间：
2016-09-02 06:18:53
阅读次数：
161
1、 安装编译工具和库文件 [root@bigdata-51cdh opt]# yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel 2、 安装PCRE (1) 下载 PCRE 安装包，下载地址:http:... ...
分类：
Web程序 时间：
2016-08-04 09:02:06
阅读次数：
185
一、修改网卡相关配置 Linux网络参数是在/etc/sysconfig/network-scripts/ifcfg-eth0中设置，其中ifcfg-eth0表示是第一个网卡，如果还有另外一块网卡，则配置为 ifcfg-eth1。 如下例： [root@bigdata-senior01 ~]# ca... ...
分类：
系统相关 时间：
2016-08-03 20:11:13
阅读次数：
286
借鉴：http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari3/index.htmlAmbari在启动的时候，会扫描resource目录下Stack下面的service配置。也就是每个Service的metainfo.xml，同时会将这些配置信息放在自己的数据库中。当用户在WEB上面点击“AddService”..
分类：
其他好文 时间：
2016-07-22 19:38:15
阅读次数：
868
