1.先说说什么是Hadoop？ 个人理解：一个分布式文件存储系统+一个分布式计算框架，在其上还有很多的开源项目来丰富他的功能，如Hbase,hive等等。官方：Hadoop是一个用Java编写的开源系统，可安排在大规模的计算平台上，从而提高计算效率。本质上它只是一个海量数据处理平台架构。2.Had....
分类：
其他好文 时间：
2015-03-13 22:16:15
阅读次数：
213
前言Mahout是Hadoop家族中与众不同的一个成员，是基于一个Hadoop的机器学习和数据挖掘的分布式计算框架。Mahout是一个跨学科产品，同时也是我认为Hadoop家族中，最有竞争力，最难掌握，最值得学习的一个项目之一。Mahout为数据分析人员，解决了大数据的门槛；为算法工程师，提供基础的...
分类：
其他好文 时间：
2015-03-13 12:19:15
阅读次数：
132
将这种单机的工作进行分拆，变成协同工作的集群，这就是分布式计算框架设计。使得计算机硬件类似于应用程序中资源池的资源，使用者无需关心资源的分配情况，从而最大化了硬件资源的使用价值。分布式计算也是如此，具体的计算任务交由哪一台机器执行，执行后由谁来汇总，这都由分布式框架的Master来抉择，而使用者.....
分类：
其他好文 时间：
2015-03-05 22:09:31
阅读次数：
175
预备、开火、瞄准……
1 总结与提升
自1月份来，可谓是浮浮荡荡，一波三折呀。
先是参加了公司组织的创意马拉松大赛，虽说24小时内完成了作品，但是自己感觉上效果很差，自然成绩也是不高。通过这24小时持续的奋斗以及后来的各种产品描述等环节，发现了开发上的许多缺点。首先，对我们的产品进行了深入的认识和了解，也在产品之上，发现了更多可以发展走向成功的点子，这是我觉得最棒的一点；其次，短时间...
分类：
其他好文 时间：
2015-03-04 11:04:25
阅读次数：
177
本文来源于《Hadoop技术内幕深入解析Hadoop common和HDFS架构设计与实现原理》一、Hadoop基本概念Hadoop是Apache基金会下的一个开源分布式计算平台，以Hadoop分布式文件系统(HDFS)和MapReduce分布式计算框架为核心，为用户提供了底层细节透明的分布式基础设...
分类：
其他好文 时间：
2015-03-03 21:58:21
阅读次数：
136
Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。Tachyon是架构在最底层的分布式文件系统和上层的各种计算框架之间的一种中间件，其主要职责是将那些不需要落地到D...
分类：
其他好文 时间：
2015-02-11 23:27:01
阅读次数：
695
本文主要介绍如何使用CUDA并行计算框架编程实现机器学习中的Kmeans算法，Kmeans算法的详细介绍在这里，本文重点在并行实现的过程。...
分类：
编程语言 时间：
2015-02-01 21:54:01
阅读次数：
219
1：什么是yarnYARN是一个框架管理器，用户可以将各种各样的计算框架移植到YARN之上，由YARN进行统一管理和资源分配、本质上是一个资源统一管理系统，将各种框架运行在YARN之上，可以实现框架的资源统一管理和分配，使他们共享一个集群，而不是“一个框架一个集群”，这可大大降低运维成本和硬件成本比...
分类：
其他好文 时间：
2015-02-01 07:04:12
阅读次数：
161
Introduction
DPark是豆瓣开发的基于Mesos的开源分布式计算框架，是spark的python版克隆，Davids的作品，Beandb作者。是豆瓣刚开源的集群计算框架，类似于MapReduce，但是比其更灵活，可以用Python非常方便地进行分布式计算，并且提供了更多的功能以便更好的进行迭代式计算。DPark的计算模型是基于两个中心思想的：对分布式数据集的并行计算以及一些有...
分类：
编程语言 时间：
2015-01-28 19:47:43
阅读次数：
281
在前一篇文章中，介绍到了Galaxy的增量计算性质，其state是框架内部管理的，以及与Storm的简单对比。这篇文章将讲述更多Galaxy增量模型的事情，并介绍这套增量模型之上实现的Galaxy SQL和Galaxy Operator，同时会从增量角度对比Spark Streaming。...
分类：
其他好文 时间：
2015-01-16 16:42:07
阅读次数：
652
