1 概述
Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
在部署和运行Spark Application的过程中，如果不注意一些小的细节，也许会导致一些问题的出现。
2 防火墙
部署好Spark...
分类：
其他好文 时间：
2014-08-04 14:23:27
阅读次数：
297
大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
http://blog.csdn.net/lishenglong666/article/details/8557215线程进程的联系和区别定义：进程是程序在计算机上的一次执行活动，是系统进行资源分配和调度的一个独立单位；线程是进程的一个实体，是cpu调度和分派的基本单位，他是比进程更小的能独立运行的...
分类：
编程语言 时间：
2014-07-31 20:39:47
阅读次数：
351
程序、进程和线程的概念1：程序和进程的差别 进程的出现最初是在UNIX下，用于表示多用户，多任务的操作系统环境下，应用程序在内存环境中基本执行单元的概念。进程是UNIX操作系统环境最基本的概念、是系统资源分配的最小单位。UNIX操作系统下的用户管理和资源分配等工作几乎都是操作系统通过对应用程序进.....
分类：
编程语言 时间：
2014-07-31 02:19:15
阅读次数：
232
题目线程和进程的区别是什么？解答这是一道出现频率极高的面试题，考察基本概念。进程可以认为是程序执行时的一个实例。进程是系统进行资源分配的独立实体， 且每个进程拥有独立的地址空间。一个进程无法直接访问另一个进程的变量和数据结构， 如果希望让一个进程访问另一个进程的资源，需要使用进程间通信，比如：管道，...
分类：
编程语言 时间：
2014-07-19 11:28:26
阅读次数：
210
锁应该说是由关系型数据库ACID（Atomicity，Consistency，Isolation，Durability）特性而引出的。以下将测试在创建及更新表过程中SQL Server锁资源分配情况获取当前会话的事务隔离级别：DBCC USEROPTIONS测试环境：SQL SERVER 2008 ...
分类：
数据库 时间：
2014-07-18 20:07:52
阅读次数：
359
进程管理
--进程与线程(上)
一、 进程的概念
1.进程概念的定义[一个动态的概念]
进程是并发程序的动态运行,是多道程序系统中程序的动态运行过程。
进程是一个活动的实体,除了指令代码,进程通常还包括进程堆段、栈段(包含临时数据,如方法参数、返回地址和局部变量)和数据段(包含常量或全局变量等)。
进程是程序在数据集合上运行的过程,它是系统进行资源分配和调度的一个独立单位。
进程的元素：代码、数据、进程表(进程控制块，是与程序相比特有的元素)
2.进程的特征
动态性...
分类：
编程语言 时间：
2014-07-18 11:14:36
阅读次数：
238
以下文章中详细介绍了update操作过程中更新锁及排它锁的分配情况http://blog.csdn.net/zjcxc/article/details/27351779按照以上文章中的追踪方式，发现其实文章lock（2）——创建及更新表过程中SQL SERVER锁资源分配情况中我们通过sys.dm_...
分类：
其他好文 时间：
2014-07-18 00:31:59
阅读次数：
326
一、进程进程可以认为是程序执行时的一个实例.进程是系统进行资源分配的独立的实体,且每个进程拥有独立的地址空间.一个进程无法直接访问另一个进程的变量和数据结构,如果希望让一个进程访问另一个进程的资源,需要使用进程间通信,比如:管道,有名管道,信号,信号量,消息队列,套接字等.一个进程可以拥有多个线程,...
分类：
编程语言 时间：
2014-07-15 23:39:05
阅读次数：
334
鱼还是熊掌：浅谈多进程多线程的选择关于多进程和多线程，教科书上最经典的一句话是“进程是资源分配的最小单位，线程是CPU调度的最小单位”，这句话应付考试基本上够了，但如果在工作中遇到类似的选择问题，那就没有这么简单了，选的不好，会让你深受其害。经常在网络上看到有的XDJM问“多进程好还是多线程好？”、...
分类：
编程语言 时间：
2014-07-14 10:56:00
阅读次数：
376
