Storm是一个免费开源、分布式、高容错的实时计算系统，Twitter开发贡献给社区的。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。 Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。特点1、Storm这是一个分布式的、容错....
分类：
其他好文 时间：
2015-11-09 20:41:35
阅读次数：
225
参考：http://www.lanceyan.com/tech/arch/mongodb_shard1.html一、mongodb分片简介在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，他不能解决海量数据怎么行！不行０分片..
分类：
数据库 时间：
2015-10-30 19:03:21
阅读次数：
368
Oracle SQL 调优健康检查脚本 我们关注数据库系统的性能，进行数据库调优的主要工作就是进行SQL的优化。良好的数据架构设计、配合应用系统中间件和写一手漂亮的SQL，是未来系统上线后不出现致命性能问题的有力保证。 在CBO时代，一个SQL的执行计划是多样的。影响执行计划的因素也从过去RBO时....
分类：
数据库 时间：
2015-10-17 00:36:47
阅读次数：
268
在Splunk峰会有个令人惊讶的共同主题，它是个和大数据架构相关的问题：“我应该使用那种方法和架构呢？push（推送）、pull（拉取）还是search in place（靠近数据搜索）？”在理论上，基于pull（pull-based）模式的系统其容错性是最好的。你只需要简单地等待结果，当预期的时间...
分类：
其他好文 时间：
2015-10-10 12:26:08
阅读次数：
197
一个数据架构师做什么？只是设计表？那是我能第一时间想的。但事实证明，这并不是。数据架构师的主要职责是： 数据建模与分析（45%） 数据加载和交付（25%） 数据可用性，性能，安全性保证（15%） 数据质量与治理（10%） 其他（5%） 1. 数据建模与分析 了解数据(Understand the d...
分类：
其他好文 时间：
2015-10-09 09:18:29
阅读次数：
179
一致性hash和solr千万级数据分布式搜索引擎中的应用互联网创业中大部分人都是草根创业，这个时候没有强劲的服务器，也没有钱去买很昂贵的海量数据库。在这样严峻的条件下，一批又一批的创业者从创业中获得成功，这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软...
分类：
其他好文 时间：
2015-10-05 21:56:18
阅读次数：
254
如何开展企业信息化评估【信息化评估理论】通过对搜集资料进行分析，得到企业信息化评估的定义为：通过对系统架构、应用架构、数据架构、业务需求与信息系统的需求结合等方面进行调研与评估，得到企业信息化的现状、存在问题、发展方向及效益的提升点。结合鲁泰集团信息化现状，设计开展企业信息化的评估流程：【评估目的】...
分类：
其他好文 时间：
2015-09-19 15:06:46
阅读次数：
139
RDD简介 在Spark集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed DataSet，RDD），它是逻辑集中的实体，在集群中的多台集群上进行数据分区。通过对多台机器上不同RDD分区的控制，能够减少机器之间的数据重排（Data Shuffle...
分类：
其他好文 时间：
2015-09-14 00:30:20
阅读次数：
253
http://www.cnblogs.com/xlovey/archive/2011/01/03/1924800.htmlADO.NET实体框架概述新版本中的 ADO.NET 以新实体框架为特色。它使开发人员可以通过对象模型（而不是逻辑/关系数据模型）专注于数据。实体框架有助于将逻辑数据架构抽象为概...
分类：
Web程序 时间：
2015-09-11 12:38:56
阅读次数：
260
上节咱们遗留了两个问题还没解决：
从节点每个上面的数据都是对数据库全部拷贝，从节点压力会不会过大？数据压力大到机器支撑不了的时候是否会自动扩展
在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，“分片”就用这个来解决这个问题。
分片，是将一个逻辑数据拆分到不同的服务器。每个拆分的数...
分类：
数据库 时间：
2015-08-28 19:52:09
阅读次数：
204
