前言 Geotrellis 是针对大数据量栅格数据进行分布式空间计算的框架，这一点毋庸置疑，并且无论采取何种操作，其实都是先将大块的数据切割成一定大小的小数据（专业术语为瓦片），这是分治的思想，也是分布式计算的精髓，所以使用 Geotrellis 的第一步工作就是要将数据切片（无论是存储在内存中还是 ...
分类：
其他好文 时间：
2018-04-01 17:47:14
阅读次数：
894
MapReduce概述MapReduce源自Google的MapReduce论文，论文发表于2004年12月。HadoopMapReduce可以说是GoogleMapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。MapRe
分类：
其他好文 时间：
2018-03-31 23:07:58
阅读次数：
262
Hadoop 概述和结构 1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS. 2.HDSF HDFS 是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上 ...
分类：
其他好文 时间：
2018-03-28 18:48:54
阅读次数：
189
MapReduce是什么 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN：hadoop 的资源调度系统 Common：以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 MapReduce 是一个分布式运算程序的 ...
分类：
其他好文 时间：
2018-03-21 13:46:51
阅读次数：
218
1.3Hadoop基础知识 1.3.1术语解释 1.Hadoop1.0 ? 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成 ? HDFS由一个NameNode和多个DataNode 组成 ? MapReduce由一个JobTracker和多个 TaskTrack ...
分类：
其他好文 时间：
2018-03-14 23:42:37
阅读次数：
259
分布式计算，大型网站技术架构：核心原理与案例分析 这个回答，非常详细。 但是，大部分内容，都来自“大型网站技术架构：核心原理与案例分析”。 最近，初步看了这本书，觉得写得太好了，比较系统和全面。 不过，我还是不喜欢吹B“听群一席话，胜读十年书”之类的。 没有之前7年多的技术学习，这本书根本看不懂，很 ...
分类：
Web程序 时间：
2018-03-11 00:26:06
阅读次数：
202
怎么学习云计算 云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。此云计算课程学习路线融合产品运维与云计算运维量大热门方向，可胜任Linux高级运维工程师、云计算运维工程师、Python运维工程师三大岗位。 Linux云计算初级运维工 ...
分类：
其他好文 时间：
2018-03-07 17:01:09
阅读次数：
205
Word count体现了Map Reduce的经典思想，是分布式计算中中的hello world。然而博主很幸运地遇到了Mac下特有的问题Mkdirs failed to create，特此记录 ...
分类：
系统相关 时间：
2018-03-06 23:20:08
阅读次数：
259
HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。 因此Spark如何向HBase中写数据就成为很 ...
分类：
其他好文 时间：
2018-03-01 00:45:06
阅读次数：
660
