1. zookeeper配置cp app/ochadoop-och3.0.0-SNAPSHOT/zookeeper-3.4.5-cdh5.0.0-beta-2-och3.0.0-SNAPSHOT/conf/zoo_sample.cfg app/ochadoop-och3.0.0-SNAPSHOT/z...
分类：
其他好文 时间：
2015-10-10 17:23:21
阅读次数：
354
1，环境情况安装的CDH5.4，使用CM来管理各个组件（Yarn、Spark、HDFS、Hive、Oozie……）。2，在shell命令下提交Oozie作业①sudo –u hdfs hadoop fs –mkdir /user/cdhfive 创建一个专门的用户目录，这里为cdhfive②sudo...
分类：
其他好文 时间：
2015-10-10 17:17:45
阅读次数：
2980
1 修改$SPARK_HOME/conf目录下的spark-defaults.conf文件添加以下配置项spark.sql.hive.convertMetastoreParquet falsehive.exec.compress.output false如果spark.sql.hive.conver...
分类：
其他好文 时间：
2015-10-10 15:21:01
阅读次数：
273
随笔说明：由于参加了上海交大组织的飞谷云项目，而且报名第三组：基于Spark的机器学习。于是打算先花时间把Spark的基础学习学习。这次学习的参考书选择的是Spark的官方文档（这个肯定是最权威的）和机械工业的《Spark大数据处理 技术、应用与性能优化》；届时肯定还有项目组提供的学习资料。1.S....
分类：
其他好文 时间：
2015-10-07 20:19:49
阅读次数：
305
Spark Scheduler 模块的文章中，介绍到 Spark 将底层的资源管理和上层的任务调度分离开来，一般而言，底层的资源管理会使用第三方的平台，如 YARN 和 Mesos。为了方便用户测试和使用，Spark 也单独实现了一个简单的资源管理平台，也就是本文介绍的 Deploy 模块。一些有经...
分类：
其他好文 时间：
2015-10-06 14:06:51
阅读次数：
369
问题：
spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, column 5. Encountered: "@" (64), after : "".环境：
spa...
分类：
数据库 时间：
2015-10-05 20:50:33
阅读次数：
430
本节主要内容
shell脚本调试
shell函数
shell控制结构初步
1. shell脚本调试当脚本出错时，需要对脚本进行调试，学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具，只需要要在脚本文件前加-x选项即可，创建debug.sh文件，内容如下：#!/bin/bash
#Filename: debug.sh
echo "scripting"
echo "d...
分类：
系统相关 时间：
2015-10-05 18:19:45
阅读次数：
297
一. Spark SQL和SchemaRDD 关于Spark SQL的前生就不再多说了，我们只关注它的操作。但是，首先要搞明白一个问题，那就是究竟什么是SchemaRDD呢？从Spark的Scala API可以知道org.apache.spark.sql.SchemaRDD和class Schema...
分类：
数据库 时间：
2015-10-05 18:10:57
阅读次数：
440
Scheduler 模块中最重要的两个类是DAGScheduler 和 TaskScheduler。上篇讲了DAGScheduler，这篇讲TaskScheduler。TaskScheduler前面提到，在 SparkContext 初始化的过程中，根据 master 的类型分别创建不同的 Task...
分类：
其他好文 时间：
2015-10-04 20:51:24
阅读次数：
380
当触发一个RDD的action后，以count为例，调用关系如下：org.apache.spark.rdd.RDD#countorg.apache.spark.SparkContext#runJoborg.apache.spark.scheduler.DAGScheduler#runJoborg.a...
分类：
其他好文 时间：
2015-10-03 18:16:15
阅读次数：
209
