这些年，云计算、大数据的发展如火如荼，从早期的以MapReduce为代表的基于文件系统的离线数据计算，到以Spark为代表的内存计算，以及以Storm为代表的实时计算，还有图计算等等。只要数据规模到了一定的程度，都需要依赖分布式计算来实时或者离线做出决策。虽然本人并未从事相关工作，但是了解一下还是好 ...
分类：
其他好文 时间：
2017-12-11 11:21:49
阅读次数：
186
Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样一些问题： 我想分析一下用户行为（pageviews），以便我能设计出更好的广告位; 我想对用户的搜索关键词进行统计，分析出前的流行趋势； 有些数据，存数据库浪费，直接存硬盘操作效率又低; 这个时候，就可以用消息系统 ...
分类：
其他好文 时间：
2017-12-11 01:11:29
阅读次数：
160
对于任何一个高可用高负载的系统来说，负载均衡是一个必不可少的名称。在大型分布式计算体系中，某个服务在单例的情况下，很难应对各种突发情况。因此，负载均衡是为了让系统在性能出现瓶颈或者其中一些出现状态下可以进行分发业务量的解决方案。在SpringCloud 体系当中，加入了Netflix公司的很多优秀产 ...
分类：
编程语言 时间：
2017-12-09 13:04:13
阅读次数：
183
是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。（注意，要想获得MySQL Cluster 的功能 ...
分类：
数据库 时间：
2017-12-05 23:58:58
阅读次数：
364
? 版权声明：本文为博主原创文章，转载请注明出处 [TOC] 1. RSA算法 RSA是目前最有影响力和最常用的公钥加密算法，它能够抵抗到目前为止已知的绝大多数密码攻击，已被ISO推荐为公钥数据加密标准。 今天只有短的RSA钥匙才可能被强力方式破解。但在分布式计算和量子计算机理论日趋成熟的今天，RS ...
分类：
Web程序 时间：
2017-12-05 16:35:49
阅读次数：
227
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Execut... ...
分类：
数据库 时间：
2017-11-26 18:40:39
阅读次数：
260
系统为了获取更大存储、更大计算量比如Google、百度等搜索引擎、共享资源(共享打印机)、移动 通信我们现在每时每刻都离不开的手机，都需要用到分布式系统。 分布式系统是一个涵盖硬件、网络、算法、分布式计算，一个宽广而且有意思领域。分布式系统是 复杂系统，但设计出来给用户使用，要简单明了，易于在实际中 ...
分类：
其他好文 时间：
2017-11-25 11:10:47
阅读次数：
187
文章转自EJB到底是什么？ 1. 我们不禁要问，什么是"服务集群"？什么是"企业级开发"？ 既然说了EJB 是为了"服务集群"和"企业级开发"，那么，总得说说什么是所谓的"服务集群"和"企业级开发"吧！这个问题其实挺关键的，因为J2EE 中并没有说明白，也没有具体的指标或者事例告诉广大程序员什么时候 ...
分类：
其他好文 时间：
2017-11-12 16:26:14
阅读次数：
197
参加工作3年到4年的同学这个阶段的同学，提升已经是很难了，而且这个阶段的学习往往会比较多样化。 因为在前3年的过程中，你肯定或多或少接触过一些其它的技术，比如大数据、分布式缓存、分布式消息服务、分布式计算、软负载均衡等等。这些技术，你能精通任何一项，都将是你未来面试时巨大的优势，因此如果你对某一项技 ...
分类：
编程语言 时间：
2017-11-12 14:53:32
阅读次数：
193
一、MapReduce是用于解决什么问题的？ 每一种技术的出现都是用来解决实际问题的，否则必将是昙花一现，那么MapReduce是用来解决什么实际的业务呢？ 首先来看一下MapReduce官方定义： 总结一句话：MapReduce就是批量处理海量数据的分布式计算框架。 在数据规模比较小时，如果要批量 ...
分类：
其他好文 时间：
2017-11-12 14:52:53
阅读次数：
110
