Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数...
分类：
其他好文 时间：
2014-06-11 06:59:31
阅读次数：
288
共享内存区是可用IPC形式中最快的。一旦内存区映射到共享它的进程的地址空间，进程间数据的传递就不再涉及内核。然而往该共享内存区存放信息或从中取走信息的进程间通常需要某种形式的同步。不再涉及内核是指：进程不再通过执行任何进入内核的系统调用来彼此传递数据。内核必须建立允许各个进程共享该内存区的内存映射关系，然后一直管理内存区。
默认情况下通过fork派生的子进程并不与其父进程共享内存区。
mmap...
分类：
系统相关 时间：
2014-06-11 06:34:25
阅读次数：
439
http://blog.csdn.net/lanyuzhen/article/details/7547476--大批量导出orders表:insertDBCC
DROPCLEANBUFFERSDBCC FREEPROCCACHEgoSET NOCOUNT ONBEGIN TRANSACTIONINS...
分类：
数据库 时间：
2014-06-10 12:59:43
阅读次数：
269
本文旨在介绍通过两台物理节点，实现完全分布式hadoop程序的安装部署。
分类：
其他好文 时间：
2014-06-10 10:13:49
阅读次数：
313
Map-reduce是一种优雅的数据处理方式，本文通过三个例子介绍如何用python在linux的管道进行map-reduce编程，本文写的所有map-reduce程序都可以原封不动的放在Hadoop下运行，很容易在大数据集上扩展。
分类：
其他好文 时间：
2014-06-09 19:11:44
阅读次数：
253
https://github.com/ihrwein/webhdfshttps://tiborbenke.blogs.balabit.com/2013/11/the-syslog-ng-in-the-hadoop-era/https://github.com/prezi/logboxhttp://d...
分类：
Web程序 时间：
2014-06-09 14:54:45
阅读次数：
198
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
在做ACM 1002题时，整理得到。#include#include#define MAX
1000void zero(char *s,int len){ int i; for(i=0;i20) ; for(i=0;iblen?alen:blen;
for(j=0;j=0)&&(j>=0);j--....
分类：
编程语言 时间：
2014-06-09 14:10:01
阅读次数：
328
前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。有不明白Spark的原理的话，有另外一位大牛已经写了一个系列的Spark的源码分析了，大家可以去参考他的，他的过程图画得非常好，他写过的我可能就不写了，实在没办法比人家写得更好。下面给出他的地址：
http:...
分类：
其他好文 时间：
2014-06-09 13:25:12
阅读次数：
439
前言为啥写这篇文章？因为我现在做的这套实时计算系统在公司里很难玩下去了。去年年初来到ctrip，主要就是做两个实时应用，一个是实时报警，功能是做出来了，但应用效果不好；一个是XXX（敏感应用，不敢写出来，以XXX代替），也是实现了功能需求，但想继续按自己的思路往下走是不可能了，我捉急的表达能力很难让...
分类：
其他好文 时间：
2014-06-09 13:02:27
阅读次数：
676
