Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数...
分类：
其他好文 时间：
2014-06-11 06:59:31
阅读次数：
288
共享内存区是可用IPC形式中最快的。一旦内存区映射到共享它的进程的地址空间，进程间数据的传递就不再涉及内核。然而往该共享内存区存放信息或从中取走信息的进程间通常需要某种形式的同步。不再涉及内核是指：进程不再通过执行任何进入内核的系统调用来彼此传递数据。内核必须建立允许各个进程共享该内存区的内存映射关系，然后一直管理内存区。
默认情况下通过fork派生的子进程并不与其父进程共享内存区。
mmap...
分类：
系统相关 时间：
2014-06-11 06:34:25
阅读次数：
439
hadoop上进行kmeans聚类，一次迭代只使用一个mapreduce...
分类：
其他好文 时间：
2014-06-10 14:01:32
阅读次数：
236
本文旨在介绍通过两台物理节点，实现完全分布式hadoop程序的安装部署。
分类：
其他好文 时间：
2014-06-10 10:13:49
阅读次数：
313
Map-reduce是一种优雅的数据处理方式，本文通过三个例子介绍如何用python在linux的管道进行map-reduce编程，本文写的所有map-reduce程序都可以原封不动的放在Hadoop下运行，很容易在大数据集上扩展。
分类：
其他好文 时间：
2014-06-09 19:11:44
阅读次数：
253
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分
布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop
按位存储和处理数据的能力值得人们信赖。2.高...
分类：
其他好文 时间：
2014-06-09 15:48:27
阅读次数：
201
https://github.com/ihrwein/webhdfshttps://tiborbenke.blogs.balabit.com/2013/11/the-syslog-ng-in-the-hadoop-era/https://github.com/prezi/logboxhttp://d...
分类：
Web程序 时间：
2014-06-09 14:54:45
阅读次数：
198
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
前言折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。有不明白Spark的原理的话，有另外一位大牛已经写了一个系列的Spark的源码分析了，大家可以去参考他的，他的过程图画得非常好，他写过的我可能就不写了，实在没办法比人家写得更好。下面给出他的地址：
http:...
分类：
其他好文 时间：
2014-06-09 13:25:12
阅读次数：
439
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
