1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。内容包括spark脚本文件解析、Spark几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark任务调度等。3.Spark编程模型，介绍Spark编程模..
分类：
其他好文 时间：
2015-10-13 12:22:05
阅读次数：
242
多线程和多进程模型的选用内容目录：多进程模型多线程模型选用参考多线程和多进程模型的选用这里的线程指通过linux的pthread_create而产生的原生线程，线程资源很宝贵，能被操作系统的任务调度器看见的（不是python gevent、go gorouine里的概念）；我们讨论以下两种模型；多进...
分类：
编程语言 时间：
2015-10-11 12:56:13
阅读次数：
273
多线程和多进程模型的选用 这里的线程指通过linux的pthread_create而产生的原生线程，线程资源很宝贵，能被操作系统的任务调度器看见的（不是python gevent、go gorouine里的概念）； 我们讨论以下两种模型； 多进程单线程模型（以下简称为多进程）； 单进程多线程模型（以...
分类：
编程语言 时间：
2015-10-10 11:56:31
阅读次数：
190
Spark Scheduler 模块的文章中，介绍到 Spark 将底层的资源管理和上层的任务调度分离开来，一般而言，底层的资源管理会使用第三方的平台，如 YARN 和 Mesos。为了方便用户测试和使用，Spark 也单独实现了一个简单的资源管理平台，也就是本文介绍的 Deploy 模块。一些有经...
分类：
其他好文 时间：
2015-10-06 14:06:51
阅读次数：
369
如何快速理解一个全新的嵌入式操作系统的要点：项目框架、任务调度、任务间通信、消息的来源和处理、HAL！...
分类：
其他好文 时间：
2015-10-04 00:29:46
阅读次数：
560
一 概述：(1)Hadoop MapReduce采用Master/Slave结构。*Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。*Slave：负责任务的执行和任务状态的回报，即MapReduce中的TaskTra...
分类：
其他好文 时间：
2015-09-28 15:53:28
阅读次数：
168
在软件大局观作为学习新系统的背景知识的基础上，从软件需求的角度入手就能快速理解和掌握一个全新的系统。本文以TI蓝牙BLE CC254x的源码库和工程为例进行分析研究。...
分类：
其他好文 时间：
2015-09-28 11:48:00
阅读次数：
949
SparkContext这是发达国家Spark入学申请，它负责的相互作用和整个集群，它涉及到创建RDD。accumulators and broadcast variables。理解力Spark架构，我们需要从入口开始。下图是图的官方网站。DriverProgram就是用户提交的程序，这里边定义了S...
分类：
其他好文 时间：
2015-09-25 21:41:36
阅读次数：
535
概述了解Quartz体系结构Quartz对任务调度的领域问题进行了高度的抽象，提出了调度器、任务和触发器这3个核心的概念，并在org.quartz通过接口和类对重要的这些核心概念进行描述：●Job：是一个接口，只有一个方法void execute(JobExecutionContext contex...
分类：
其他好文 时间：
2015-09-21 17:19:39
阅读次数：
313
Quartz可以用来执行任务调度功能，如间隔一定时间调用执行任务。用起来还是蛮方便的。只要将你要调用的类配置到Spring配置文件即可。在Spring的配置文件中配置Quartz。 1 2 3 4 5 6 ...
分类：
编程语言 时间：
2015-09-21 17:10:13
阅读次数：
245
