声明:本文基于spark的programming guide,并融合自己的相关理解整理而成
Spark应用程序总是包含着一个driver program(驱动程序),它执行着用户的main方法,并且执行大量的并行操作(parallel operations)在集群上.
概述
Spark最主要的抽象就是RDD(resilient di...
分类：
其他好文 时间：
2014-11-18 14:51:18
阅读次数：
176
由于pthread实现并行计算的方式是基于共享内存的，因此在多线程中共享变量的使用存在诸多同步性问题。在多个线程中对同一个变量进行读的时候可能没问题，但是在修改的时候，就有可能造成变量内容的不一致。为了解决这个问题，就需要对共享变量进行互斥的访问。
为了实现这一功能，在pthread中提供了线程锁，通过加锁和解锁就可以轻松避免上述问题，具体实例如下：
#include
#includ...
分类：
其他好文 时间：
2014-10-29 21:39:49
阅读次数：
213
在《effective java》中看的的知识点，在工作中确实遇到了~
关键字synchronized可以保证在同一时刻，只有一个线程可以执行某一个方法，或者某一个代码块。
同步并不是单单指线程之间的互斥。如果没有同步，一个线程的变化就不能被其他线程看到。同步不仅可以阻止一个线程看到对象处于不一致的状态之中， 它还可以保证进入同步方法或者同步代码块的每个线程，都看到由同一个锁保护的之前的所...
分类：
编程语言 时间：
2014-10-21 23:14:35
阅读次数：
300
一、前言Linux内核是一个整体结构，而模块是插入到内核中的插件。尽管内核不是一个可安装模块，但为了方便起见，Linux把内核也看作一个模块。那么模块与模块之间如何进行交互呢，一种常用的方法就是共享变量和函数。但并不是模块中的每个变量和函数都能被共享，内核只把各个模块中主要的变量和函数放在一个特定的...
分类：
系统相关 时间：
2014-10-17 10:00:35
阅读次数：
317
一、 每一个线程实质上是一核处理器。
二、 线程本地缓存就是处理器缓存。
三、 避免数据同步的策略：使用ThreadLocal(spring singleton 实例)、不共享变量。
四、 工作内存指的是线程本地内存。在程序运行时，有线程本地内存、主内存。...
分类：
编程语言 时间：
2014-10-09 18:47:47
阅读次数：
224
一些理论基础：信号量：又称为信号灯、旗语 用来解决进程（线程同步的问题），类似于一把锁，访问前获取锁（获取不到则等待），访问后释放锁。临界资源：每次仅允许一个进程访问的资源。临界区：每个进程中访问临界资源的那段代码叫临界区进程互斥：两个或以上的进程不能同时进入关于同一组共享变量的临界区域，即一个进程...
分类：
Web程序 时间：
2014-09-29 01:11:07
阅读次数：
242
0.Java 中多线程同步是什么？ 在多线程程序下，同步能控制对共享资源的访问。如果没有同步，当一个 Java 线程在修改一个共享变量时，另外一个线程正在使用或者更新同一个变量，这样容易导致程序出现错误的结果。1.解释实现多线程的几种方法?一 Java 线程可以实现 Runnable 接口或者继承....
分类：
编程语言 时间：
2014-09-13 22:38:46
阅读次数：
236
结合例子，就很好理解了。就是不要让共享变量被各个线程无序执行，导致结果不可预期threading模块中定义了Lock类，可以方便的处理锁定：#创建锁mutex = threading.Lock()#锁定mutex.acquire([timeout])#释放mutex.release()其中，锁定方法...
分类：
编程语言 时间：
2014-09-04 18:43:09
阅读次数：
264
1volatile:易变的,一般寄存器的访问速度比RAM快,所以在指定了优化之后,一般编译器会从寄存器读取数据以加快速度.而对于:由硬件寄存器设备决定的状态信息等 中断服务程序中修改的且最终要被其它程序查询使用的变量标志等如:按键值,软定时次数等 多线程共享变量都要用volatile修饰,让编...
分类：
编程语言 时间：
2014-08-30 01:15:18
阅读次数：
244
本文转自：http://www.cnblogs.com/dolphin0520/p/3923167.html
Java中可以使用synchronized关键字来实现线程之间对共享变量的同步访问。从Java 1.5以后，在java.util.concurrent.locks包下提供了另外一种方式来实现同步访问——Lock。
一、synchronized的缺陷
如果一个代码块被s...
分类：
编程语言 时间：
2014-08-28 17:00:30
阅读次数：
333
