Spark SQL 1.3参考官方文档：Spark SQL and DataFrame Guide概览介绍参考：平易近人、兼容并蓄——Spark SQL 1.3.0概览 DataFrame提供了一条联结所有主流数据源并自动转化为可并行处理格式的渠道，通过它Spark能取悦大数据生态链上的所有玩家，....
分类：
数据库 时间：
2015-05-08 23:48:25
阅读次数：
311
这篇文章讨论了Java应用中并行处理的多种方法。从自己管理Java线程，到各种更好几的解决方法，Executor服务、ForkJoin 框架以及计算中的Actor模型。Java并发编程的4种风格：Threads，Executors，ForkJoin和Actors我们生活在一个事情并行发生的世界。自然...
分类：
编程语言 时间：
2015-05-08 12:31:09
阅读次数：
173
基础概念rsync同步软件效率不高inotify通知三种集群：LB:loadbalance提高服务器的并发能力HA：高可用highavailability不会因为一台服务器宕机导致服务不可用HP:highperfomence高性能计算集群并行处理集群分布式文件系统将大任务切割为小任务，分别进行处理healthcheck：健康检..
分类：
其他好文 时间：
2015-05-08 00:13:48
阅读次数：
138
RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理...
我是个“低调”的人，总不喜欢表达出来，对异性如此，对工作也是如此。在翔哥的鼓励下，决定把自己工作的一些经验和思考写下来，和同道们一起分享。
ASIC设计中一种通用型并行设计方法：
1）流水网的概念提出
IC设计中的控制有串行和并行两种思想。状态机方法反应了串行控制思想，有软件的思路，比较好理解，新手比较喜欢用。流水线方法是并行处理的思想，比较抽象，因为其效率高，老手喜欢用...
分类：
其他好文 时间：
2015-04-27 00:32:15
阅读次数：
135
三月中旬，Spark发布了最新的1.3.0版本，其中最重要的变化，便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心和决心。DataFrame像是一条联结所有主流数据源并自动转化为可并行处理格式的水渠，通过它Spark能...
分类：
其他好文 时间：
2015-04-24 16:19:33
阅读次数：
138
下面列举的tips为项目中常用的优化手段/技巧，绿色背景highlight起来的部分为非常规手段，使用场景较为极端，需谨慎考量。 Oracle并行场景： ?SQL*Loader 的parallel参数 ?事务失败回滚的并行处理 FAST_START_PARALLEL_ROLLBACK参数 ?exp...
分类：
数据库 时间：
2015-04-18 17:34:09
阅读次数：
292
我打算写的这些东西，非框架，非业务，也不是高大上的大数据处理，或者流行的用户体验、交互设计，仅仅是关于一些系统设计的细节，比如为什么要做联机程序和批量程序，以及如何设计联机/批量？数据一致性保证，并行处理、参数的生命周期，存储过程该不该用、跨系统传输文件以什么方式来同步等等。也会有一些业务实现上的细...
分类：
其他好文 时间：
2015-04-15 18:40:04
阅读次数：
108
M是消息传递数目，N进程数量，Msg是传递的消息-module(exe3_2).
-export([start/3,stop/0]).start(M,N,Msg) ->register(ring,spawn(fun()->ring_service(M,N,Msg) end)).stop() -> ring!stop.ring_service(M,N,Msg) ->
Ring=ring_nod...
分类：
系统相关 时间：
2015-04-07 09:44:20
阅读次数：
192
GCD(Grand Dispatch)是异步执行的技术之一
下面这个例子就是在后台线程中执行长时间处理，主线程使用该处理结果
dispatch_async(dispatch_get_global_queue(0,
0), ^{
/*
长时间处理 比如 AR用画像识别
数据库访问等
长时间处理完毕，主线...
分类：
其他好文 时间：
2015-03-31 12:55:13
阅读次数：
174
