如何在分布式集群中，充分利用多节点，对大数据进行拆分，实现并行计算，“parallel computing by kafka-storm ” 提供了一种很好的思路。...
分类：
其他好文 时间：
2014-12-29 23:03:01
阅读次数：
208
【导读】徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作，负责过日请求量过亿的Web系统升级与重构，目前在小满科技创业，从事SaaS服务技术建设。大规模流量的网站架构，从来都是慢慢“成长”而来。而这个过程中，会遇到很多问题，在不断解决问题的过程中，Web系统变得越来越大。并且，新的挑战又往往出现在旧...
分类：
Web程序 时间：
2014-12-29 13:30:01
阅读次数：
268
ElasticSearch也是一款非常优秀的开源的全文检索框架，以大名鼎鼎的ApacheLucene为基础，高度封装了更丰富，易用的API，同时与ApacheSolr一样，提供了非常强大的分布式集群功能！有不懂ElasticSearch（下文简称es）是干啥的朋友，可以点此链接在百科上先大致了解下。下面进入正..
分类：
其他好文 时间：
2014-12-27 06:49:34
阅读次数：
318
ElasticSearch也是一款非常优秀的开源的全文检索框架，以大名鼎鼎的Apache Lucene为基础，高度封装了更丰富，易用的API，同时与Apache Solr一样，提供了非常强大的分布式集群功能！有不懂ElasticSearch（下文简称es）是干啥的朋友，可以点此链接在百科上先大致了解...
分类：
其他好文 时间：
2014-12-26 21:30:33
阅读次数：
261
简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架； Mahout是目前数据挖掘领域的王者； 工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012...
分类：
其他好文 时间：
2014-12-24 22:41:30
阅读次数：
305
1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网.....
分类：
其他好文 时间：
2014-12-23 22:25:17
阅读次数：
233
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架；Mahout是目前数据挖掘领域的王者；工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012年美...
分类：
其他好文 时间：
2014-12-23 06:40:35
阅读次数：
183
Tair是什么
Tair 是一个类似于map的key/value结构存储系统（也就是缓存系统），具备标准的特性是：高性能、高扩展、高可靠，也就是传说中的三高产品，支持分布式集群部署。官网说目前支持java和c这两个版本。
具体的是：高速缓存，并且支持内存存储和持久化存储。...
分类：
其他好文 时间：
2014-12-01 11:30:39
阅读次数：
274
配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。***注意所有操作均为root用户。 创建3个CentOS虚拟机，如下： sp1 192.168.1.21 //master节点 sp2 192.168.1.22 //slav...
分类：
其他好文 时间：
2014-11-18 11:43:26
阅读次数：
237
