历史上超级详细，超级解说步骤，让你在一个小时内安装出属于自己的高可靠，高性能的Hadoop集群。...
分类：
其他好文 时间：
2015-08-27 13:33:10
阅读次数：
120
1.parcel 哈希验证错误：从cloudera下载的CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha1中用vi打开，将其后面的路径删除，如原内容为67fc4c86b260eeba15c339f1ec6be3b59b4ebe30 ./cdh5/parcels/5....
分类：
其他好文 时间：
2015-08-20 23:57:29
阅读次数：
390
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2，目前的任务使用Hive SQL构建，分为两种类型：手动任务（临时分析需求）、调度任务（常规分析需求），两者均通过我们的Web系统进行提交。以前两种类型的任务都被提交至Yarn中一个名称为“hive”的队列，为了避免两种类型的...
分类：
数据库 时间：
2015-08-12 18:40:43
阅读次数：
9623
系统环境4台联想R510服务器，其中master节点4核心、8GB，其它节点双核心、4GB。网卡：100M。共有硬盘6TB。网络环境内网。Centos6.5 x64（安装系统时尽量把开发包安装齐全，另master节点需要Mysql可以在安装系统时勾选）。准备工作卸载系统自带OPEN-JDK（所有节点...
分类：
其他好文 时间：
2015-08-02 16:30:06
阅读次数：
219
1 protocol buffer sudo apt-get install libprotobuf-dev asn@hadoop1:~/Desktop$ protoc --version libprotoc 2.5.0 2 安装CMake apt-get install cmak...
分类：
系统相关 时间：
2015-07-25 00:02:47
阅读次数：
493
按照storm on yarn(Apache hadoop)部署好之后，然后修改HADOOP_HOME,hadoopenv.sh中的JAVA_HOME,以及storm-yarn-master中pom.xml的hadoop version启动顺序依次为：hdfs：start-dfs.shyarn:st...
分类：
其他好文 时间：
2015-07-18 16:55:49
阅读次数：
158
早期的Impala版本中，为了使用Impala，我们通常会在以Client/Server的结构在各个集群节点启动impala-server、impala-state-store和impala-catalog服务，并且在启动过程中无法动态调整内存和CPU的分配。CDH5之后，Impala开始支持Impala-on-yarn模式，通过一个叫做Llama(Long-Lived Application Master)的中间协调Yarn和Impala，向Hadoop Yarn资源管理器申请计算资源。...
分类：
其他好文 时间：
2015-07-17 18:52:24
阅读次数：
2875
记录cloudera扩充磁盘1、4台主机，每台主机增加一块2TB的硬盘2、首先简单说明步骤A、分区，挂载（挂载目录（名称，路径）要一致）B、在挂载的分区内，建立对应的文件夹，并授权C、在cdh的hdfs配置界面，配置新增hdfs的目录，然后部署客户端配置，滚动重启3、操作步骤分区(LVM逻..
分类：
其他好文 时间：
2015-07-09 22:57:14
阅读次数：
343
log4j直接输出日志到flume ????????此jar是由Cloudera的CDH发行版提供的一个工具类，通过配置，可以将log4j的日志直接输出到flume，方便日志的采集。 ????????在CDH5.3.0版本中是：flume-ng-log4...
分类：
Web程序 时间：
2015-07-06 16:17:06
阅读次数：
609
启动PySparkexport IPYTHON=1 # PySpark也可使用IPython shellpyspark --master yarn --num-executors 3发生如下错误:/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/bin/...
分类：
其他好文 时间：
2015-07-04 20:52:52
阅读次数：
203
