今天来了解下scala的泛型先让我们看下这段代码 class Triple[F,S,T](val first:F,val second: S,val third: T) val triple = new Triple("Spark",3,3.1415) val bigData = new Tri.....
分类：
其他好文 时间：
2015-09-04 18:23:11
阅读次数：
184
package com.leegh.parameterization/** * @author Guohui Li *///由于breathe返回的是this,scala将返回类型推断为Animal，而由于Animal没有eat方法//class Animal { def breathe = thi...
分类：
其他好文 时间：
2015-09-03 13:58:21
阅读次数：
161
从官方的文档我们可以知道，Spark的部署方式有很多种：local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的，但是如果我们从代码的角度来看，其实流程都差不多。 从代码中，我们可以...
分类：
其他好文 时间：
2015-09-02 16:03:31
阅读次数：
216
## 本节主要内容 ##
1. 进程管理简介
2. 进程管理常用命令
3. 计划任务
## 1. 进程管理简介 ##
### （1）进程概念
进程是操作系统中非常重要的一个概念，进程是程序的执行过程，相对于程序，进程是动态的，在linux系统中，它与用户权限相关，程序与进程并没有一一对应，一个程序可能对应多个进程，例如：...
分类：
系统相关 时间：
2015-09-02 10:45:38
阅读次数：
268
使用spark-1.4.1-bin-hadoop2.6进行处理，测试文件大小为3G，测试结果：1:统计一个文件中某个字符的个数scala> sc.textFile("/home/y/my_temp/1.txt").filter(line=>line.contains("ok")).count()sc...
分类：
其他好文 时间：
2015-09-02 09:22:08
阅读次数：
123
package com.leegh.parameterization/** * @author Guohui Li */class Personclass Student extends Personclass C[+T](val args: T)trait Friend[-T] { def ma....
分类：
其他好文 时间：
2015-09-02 09:19:34
阅读次数：
141
结束historyserver例如，下面的命令可以看到：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个文件夹。创建步骤例如以下所看到的：watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd3d0dHoxOTc0/font/5a6L5L2T/...
分类：
其他好文 时间：
2015-09-02 00:02:42
阅读次数：
374
Spark Streaming初试 yum install nc.x86_64 ./bin/spark-shell --total-executor-cores 34? 敲入下面程序： import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext...
分类：
其他好文 时间：
2015-09-01 20:07:57
阅读次数：
280
package com.leegh.parameterization/** * @author Guohui Li */object Type_Contraints { def main(args: Array[String]): Unit = { def rocky[T](i: T)(im...
分类：
其他好文 时间：
2015-09-01 09:11:19
阅读次数：
136
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、Spark Streaming简介1.1概述Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、...
分类：
其他好文 时间：
2015-09-01 08:02:02
阅读次数：
322
