前言 Geotrellis 是针对大数据量栅格数据进行分布式空间计算的框架，这一点毋庸置疑，并且无论采取何种操作，其实都是先将大块的数据切割成一定大小的小数据（专业术语为瓦片），这是分治的思想，也是分布式计算的精髓，所以使用 Geotrellis 的第一步工作就是要将数据切片（无论是存储在内存中还是 ...
分类：
其他好文 时间：
2018-04-01 17:47:14
阅读次数：
894
基础知识 什么是服务框架 服务框架就是提供服务的，服务框架是基于业务对应SaaS分发模式的服务进行整合，以产生新的应用。服务框架中，与业务相关，但与业务功能的整合无关的组件以外部服务形式引入（也就是说把一些业务分离出来，变成一种服务，供其他人调用该服务）。 什么是RPC RPC全拼是（Remote ...
分类：
其他好文 时间：
2018-04-01 16:06:43
阅读次数：
254
单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。 垂直应用架构 当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。 此时，用于加速前端页面开发 ...
分类：
其他好文 时间：
2018-04-01 16:06:28
阅读次数：
149
概述 什么事务分布式事务 就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 分布式事务的产生的原因 数据库分库分表 当数据库单表一年产生的数据超过 ...
分类：
其他好文 时间：
2018-04-01 14:58:48
阅读次数：
157
声明：本文内容来自于阿里云大学课堂 https://edu.aliyun.com/lesson_37_645?spm=5176.10731542.0.0.ClIYfh#_645 传统数据库回顾 分布式数据库概述 分布式数据库的特点 分布式数据库系统定义 分布式系统的特性 透明性 入口统一 分布式系统 ...
分类：
数据库 时间：
2018-04-01 14:23:20
阅读次数：
173
elasticsearch:基于java开发，基于RESTful web 接口，提供分布式多用户能力的全文搜索引擎。 elasticsearch 安装： 1. java SE Development Kit8 -Downloads 2.查看java安装好后版本 java -version 3.安装e ...
分类：
其他好文 时间：
2018-04-01 13:09:13
阅读次数：
168
Description 聪聪研究发现，荒岛野人总是过着群居的生活，但是，并不是整个荒岛上的所有野人都属于同一个部落，野人们总是拉帮结派形成属于自己的部落，不同的部落之间则经常发生争斗。只是，这一切都成为谜团了——聪聪根本就不知道部落究竟是如何分布的。 不过好消息是，聪聪得到了一份荒岛的地图。地图上标 ...
分类：
Web程序 时间：
2018-04-01 11:58:53
阅读次数：
198
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 ...
分类：
其他好文 时间：
2018-04-01 00:01:25
阅读次数：
996
1、什么是RDD？ 最核心 （*）弹性分布式数据集，Resilent distributed DataSet （*）Spark中数据的基本抽象 （*）结合源码，查看RDD的概念 RDD属性 * Internally, each RDD is characterized by five main pr ...
分类：
其他好文 时间：
2018-03-31 23:15:30
阅读次数：
379
MapReduce概述MapReduce源自Google的MapReduce论文，论文发表于2004年12月。HadoopMapReduce可以说是GoogleMapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。MapRe
分类：
其他好文 时间：
2018-03-31 23:07:58
阅读次数：
262
