1. socket消息发送 import java.net.ServerSocket import java.io.PrintWriter import scala.collection.mutable.ListBuffer import java.util.Random /** * Created...
分类：
其他好文 时间：
2015-08-28 23:12:14
阅读次数：
237
本篇为这一段时间以来我对大数据相关技术的学习心得及理解，主要涉及以下几个方面： noSql， 集群， 数据挖掘， 机器学习，云计算，大数据，以及Hadoop和Spark。主要都是一些初级的概念澄清之类的东西，并且比较凌乱，慎入。* 1. NoSQL我的理解是，NoSQL主要用于存储一些非结构化数据,...
分类：
其他好文 时间：
2015-08-28 15:02:08
阅读次数：
211
hadoop1
配置 mapred-site.xml,增加如下内容
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.FairScheduler
<...
分类：
其他好文 时间：
2015-08-28 13:23:03
阅读次数：
139
package com.leegh.parameterization/** * @author Guohui Li */class Pair_NotPerfect[T 0) first else second}//class Pair_NotPerfect[T 0) first else sec.....
分类：
其他好文 时间：
2015-08-28 12:24:45
阅读次数：
116
1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { d...
分类：
其他好文 时间：
2015-08-28 00:46:31
阅读次数：
151
实际任务的运行，都是通过Executor类来执行的。这一节，我们只介绍Standalone模式。
源码位置：org.apache.spark.executor.CoarseGrainedExecutorBackend
private def run(
driverUrl: String,
executorId: String,
hostname: String,...
分类：
其他好文 时间：
2015-08-27 21:16:37
阅读次数：
195
前面提到过spark自带的一个最简单的例子，也介绍了SparkContext的部分，这节介绍剩余的内容中的transformation。
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi")
val spark = new Spa...
分类：
其他好文 时间：
2015-08-27 21:16:35
阅读次数：
187
package com.leegh.parameterization/** * @author Guohui Li */class Pair[T 0) first else second}class Pair_Lower_Bound[T](val first: T, val second: T) ....
分类：
其他好文 时间：
2015-08-27 20:48:28
阅读次数：
150
前面介绍了SparkSQL的运行过程，罗列了很多概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan，下面介绍一个工具hive/console，来加深对SparkSQL的运行计划的理解。 另外Spark是一个快速的内存计算框架，同时是一个并行运算的框架，在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。...
分类：
数据库 时间：
2015-08-27 11:06:02
阅读次数：
287
大会地址 上海Spark Meetup第四次聚会将于2015年7月18日在太库科技创业发展有限公司举办，详细地址上海市浦东新区金科路2889弄3号长泰广场 C座12层，太库。本次聚会由七牛和Intel联合举办。大会主题 1. hadoop/spark生态的落地实践 王团结(七牛)七牛云数据平台工程师。主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注hadoop/flume/k...
分类：
其他好文 时间：
2015-08-27 11:04:36
阅读次数：
189
