第4章 子查询 4.2.1 Exist 谓语： use TSQLFundamentals2008 select * from Sales.Customers as C where c.country=N'Spain' select * from Sales.Customers as C where ...
分类：
数据库 时间：
2016-06-03 12:38:04
阅读次数：
228
一、入门书籍 1，疯狂java讲义 2，java编程思想 3，Maven权威指南 4，Spring 3.0就是这么简单 5，Spring技术内幕 6，Spring实战 7，Maven实战 二、入门业务实现时需要涉及到的知识点： Json，Mysql，dubbo，git命令等 三、工具 Eclipse ...
分类：
编程语言 时间：
2016-06-02 16:22:55
阅读次数：
316
第 2 章： 单表查询 use TSQLFundamentals2008; select * from Sales.orders; select empid, year(orderdate) as orderyear, Count(*) as numorders from Sales.Orders ...
分类：
数据库 时间：
2016-06-02 13:28:08
阅读次数：
249
本期内容：1、SparkStreaming元数据清理详解2、SparkStreaming元数据清理源码解析一、如何研究SparkStreaming元数据清理操作DStream的时候会产生元数据，所以要解决RDD的数据清理工作就一定要从DStream入手。因为DStream是RDD的模板，DStream之间有依赖关系。DStream的操作产生..
分类：
其他好文 时间：
2016-06-02 00:58:53
阅读次数：
249
本期内容：SparkStreaming数据清理原因和现象SparkStreaming数据清理代码解析对SparkStreaming解析了这么多课之后，我们越来越能感知，SparkStreaming只是基于SparkCore的一个应用程序，因此掌握SparkStreaming对于我们怎么编写Spark应用是绝对有好处的。SparkStreaming不像Spa..
分类：
其他好文 时间：
2016-05-31 19:17:20
阅读次数：
549
本讲从二个方面阐述： Spark Core从技术研究的角度讲 对Spark Streaming研究的彻底，没有你搞不定的Spark应用程序。 Spark Streaming一直在运行，不断计算，每一秒中在不断运行都会产生大量的累加器、广播变量，所以需要对对象及 元数据需要定期清理。每个batch d ...
分类：
其他好文 时间：
2016-05-31 07:44:45
阅读次数：
301
本期内容 : Spark Streaming数据清理原理和现象 Spark Streaming数据清理代码解析 Spark Streaming一直在运行的，在计算的过程中会不断的产生RDD ，如每秒钟产生一个BachDuration同时也会产生RDD， 在这个过程中除了基本的RDD外还有累加器、广播 ...
分类：
其他好文 时间：
2016-05-30 07:39:38
阅读次数：
190
1 日志管理类的后台线程
分布式存储系统除了要保证客户端写请求流程的正确性，节点可能会非正常宕机或者需要重启，在启动的时候必须要能够正常地加载/恢复已有的数据，日志管理类在创建的时候要加载已有的所有日志文件，这和创建Log时要加载所有的Segment是类似的。 LogManager 的 logDirs 参数对应了 log.dirs 配置项，每个TopicPartition文件夹都对应一个Log实...
分类：
其他好文 时间：
2016-05-27 12:20:55
阅读次数：
264
本讲内容：a. JobScheduler内幕实现
b. JobScheduler深度思考注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，我们以JobGenerator类为重心，为大家左右延伸，解密Job之动态生成；并总结出了Job之动态生成的三大核心：a. JobGenerator: 负责Job生成b. JobSheduler:负责Job...
分类：
其他好文 时间：
2016-05-27 12:19:58
阅读次数：
160
本讲内容：a. DStream与RDD关系的彻底的研究
b. Streaming中RDD的生成彻底研究注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上节课，我们重点给大家揭秘了JobScheduler内幕；可以说JobScheduler是整个Spark Streming的调度的核心，其地位相当于Spark Core中的DAGScheduler...
分类：
其他好文 时间：
2016-05-27 11:47:20
阅读次数：
131
