函数式编程和面向对象结合的语言函数式编程擅长数值计算面向对象擅长大型工程和项目的组织以及团队的分工协作Spark是用Scala语言编写的Hadoop是用Java语言编写的少动一根手指Scala开发环境需要安装JAVA建议7或者8版本注意选择匹配的位数和系统的JAVA配置环境变量JAVA_HOMEPA...
分类：
其他好文 时间：
2015-08-02 00:59:46
阅读次数：
196
王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第74讲：从Spark源码的角度思考Scala中的模式匹配百度云：http://pan.baidu.com/s/1hqJByvU腾讯微云：http://url.cn/chV3CI360云盘：http:/...
分类：
其他好文 时间：
2015-08-01 21:50:56
阅读次数：
113
讨论Spark的配置监控和性能优化（某课程笔记）
上完这节课以后，你将能够描述集群的概念
通过修改Spark的属性，环境变量，或者是日志属性来配置Spark
使用Web端界面，以及各种不同的外部工具来监控Spark和应用程序
在Spark集群中有三种主要的组成部分。驱动程序，是放置主程序中SparkContext的地方,要运行一个集群，你需要一个集群管理器
它可以是单机...
分类：
其他好文 时间：
2015-08-01 19:09:22
阅读次数：
124
今天跟随王老师学习了从源码角度去分析scala中的模式匹配的功能。让我们看看源码中的这一段模式匹配：从代码中我们可以看到，case RegisterWorker(id,workerHost,........){}这里为模式匹配，而我们的模式匹配类RegisterWorker之前就已定义好，如下图：我...
分类：
其他好文 时间：
2015-08-01 14:09:11
阅读次数：
115
package com.leegh.oop/** * @author Guohui Li *//** * 包、类、对象、成员访问权限 * 伴生类，伴生对象访问权限 */package spark { package navigation { private[spark] class Navi...
分类：
其他好文 时间：
2015-08-01 11:30:22
阅读次数：
134
学习了从Spark源码的角度思考Scala中的模式匹配，如caseclass应用，伴生对象中用apply，所以没有newclass，直接进行模式匹配，例子如下CaseclassRegisterWorker(Id:string,Host:string,Port:int,Cores:int,Memory...
分类：
其他好文 时间：
2015-08-01 08:51:58
阅读次数：
98
今天想停止spark集群，发现执行stop-all.sh的时候spark的相关进程都无法停止。提示： no org.apache.spark.deploy.master.Master to stop no org.apache.spark.deploy.worker.Worker to stop 上...
分类：
其他好文 时间：
2015-08-01 06:18:49
阅读次数：
199
spark集群运行python作业，pyspark...
分类：
编程语言 时间：
2015-07-31 18:36:52
阅读次数：
224
1、关于存储：1）、可能的话，Spark节点与HDFS节点是一一对应的2）、如果做不到，那至少保证Spark节点与HDFS节点是一个局域网内2、关于硬盘：1）、官方推荐每台机子4-8个硬盘，然后不需要做RAID（因为本身你的硬盘就是用来做），配置spark.local.dir结点啦3、关于内存1）、...
分类：
其他好文 时间：
2015-07-31 17:41:58
阅读次数：
144
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
