SparkStreaming,贯通Spark Streaming流计算框架,源码...
分类：
其他好文 时间：
2016-05-12 23:12:21
阅读次数：
137
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务，在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云的技术专家给大家分享一则技术文：一个SparkSQL的作业的一生。
Spark是时下很火的计算框架，由UC Berke...
分类：
数据库 时间：
2016-05-12 13:32:27
阅读次数：
277
本篇博文将从如下几点组织文章：
一：案例演示
二：源码分析一：案例演示
这里只是贴出源码，后续会对改代码的实战和实验演示都会详细的补充。package com.dt.spark.sparkstreaming
import org.apache.spark.SparkConf
import org.apache.spark.sql.Row
import org.apache.spark.sql....
分类：
其他好文 时间：
2016-05-12 12:33:14
阅读次数：
265
Alluxio（之前名为Tachyon）是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快 ...
分类：
其他好文 时间：
2016-05-11 23:37:33
阅读次数：
297
1、什么是mapreduce mapreduce是hadoop自带的分布式计算框架。 2、mapreduce的基本思想 2.1、能够解决什么问题假设一个场景：一个电商系统，统计某个手机号的用户的上行和下行流量。 如果通过一个节点的计算机，对各个datanode上的文件进行扫描，将结果统计到一个has ...
分类：
其他好文 时间：
2016-05-11 16:30:49
阅读次数：
271
1 spark streaming 程序代码实例 代码如下： [html] view plain copy object OnlineTheTop3ItemForEachCategory2DB { def main(args: Array[String]){ val conf = new Spark ...
分类：
其他好文 时间：
2016-05-11 13:29:37
阅读次数：
214
本讲内容：a. 在线动态计算分类最热门商品案例回顾与演示
b. 基于案例贯通Spark Streaming的运行源码注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课主要从事务视角为大家探索Spark Streaming架构机制；Spark Streaming程序分成而部分，一部分是Driver，另外一部分是Executor。通过对Driv...
分类：
其他好文 时间：
2016-05-09 07:00:05
阅读次数：
154
本期内容：1、在线动态计算分类最热门商品案例回顾与演示2、基于案例分析SparkStreaming的运行源码第一部分案例：packagecom.dt.spark.sparkstreamingimportcom.robinspark.utils.ConnectionPoolimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.Rowimportorg.apac..
分类：
其他好文 时间：
2016-05-08 20:05:59
阅读次数：
246
本章节内容： 一、在线动态计算分类最热门商品案例回顾 二、基于案例贯通Spark Streaming的运行源码 先看代码（源码场景：用户、用户的商品、商品的点击量排名，按商品、其点击量排名前三）： package com.dt.spark.sparkstreaming import org.apac ...
分类：
其他好文 时间：
2016-05-08 13:38:42
阅读次数：
164
本期内容： 1、在线动态计算分类最热门商品案例回顾与演示 2、基于案例贯通Spark Streaming的运行源码 一、在线动态计算分类最热门商品案例回顾与演示 案例回顾： package com.dt.spark.sparkstreaming import com.robinspark.utils ...
分类：
其他好文 时间：
2016-05-08 13:37:20
阅读次数：
118
