码迷,mamicode.com
首页 >  
搜索关键字:分布式集群    ( 677个结果
Tachyon 0.7.1伪分布式集群安装与测试
Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让...
分类:其他好文   时间:2015-09-10 19:41:48    阅读次数:280
【Spark亚太研究院系列】Spark道路的真正的主人-第一章 构建Spark星团(第五步)(6)
结束historyserver例如,下面的命令可以看到:第四步:验证Hadoop分布式集群首先在hdfs文件系统上创建两个文件夹。创建步骤例如以下所看到的:watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvd3d0dHoxOTc0/font/5a6L5L2T/...
分类:其他好文   时间:2015-09-02 00:02:42    阅读次数:374
使用Jedis的ShardedJedis做Redis集群
使用Jedis的ShardedJedis做Redis集群 http://www.zhizhihu.com/html/y2014/4593.html ? redis安装使用-终极篇(分布式、集群配置) http://haiziwoainixx.iteye.com/blog/2087154...
分类:其他好文   时间:2015-08-30 06:39:11    阅读次数:158
Solr SolrCloud相关概念
Solr支持服务器的分布式集群部署,即SolrCloud。在SolrCloud中,一个索引可以被分布到不同的服务器,即不同的node,所有的这些node组成一个collection,并且充分考虑了高可靠性和容错的设计。 SolrCloud使用zookeeper来管理这些服务器,被搜索的文件可以放在任何一个服务器,ZooKeeper会自动管理它们。 一个collection可以把...
分类:其他好文   时间:2015-08-28 15:37:27    阅读次数:176
Hadoop(三)——核心之一HDFS
上篇讲述了Hadoop分布式集群环境的搭建,其实重要是HDFS分布式文件系统的搭建,MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS(HadoopDistribute File System,也就是Hadoop分布式文件系统)。     一、HDFS的主要设计理念:     1、存储超大文件,这里的“超大文件”是指几百MB、GB甚至TB,PB级别的...
分类:其他好文   时间:2015-08-28 00:50:42    阅读次数:163
Hadoop(二)——分布式集群搭建
前两天和一个朋友在聊天的时候说,很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上,原因吗无在乎:1,没有很好的电脑配置,不能像机房一样用多台电脑搭建起集群;2,对linux的不熟悉,各种小黑窗,linux命令……;3,环境搭建的反锁步骤,需要耐心+细心+认真等等吧。不过吗,我觉的,只要敢于坚持,敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程,由于条件有限,也是在虚拟机中进...
分类:其他好文   时间:2015-08-27 02:15:00    阅读次数:282
基于虚拟linux+docker搭建hadoop完全分布式集群
本文通过vmware虚拟机加docker,搭建了一个具有三个节点的hadoop完全分布式集群,可对用于学习hadoop、docker、linux等技能。...
分类:系统相关   时间:2015-08-25 19:44:39    阅读次数:871
分布式集群技术
1.分布式集群 1.1.分布式系统架构 下图分布式系统架构好处有两点:一是系统可以适用于各种规模的企业,(图中每个节点代表一台应用服务器,并不见得是一台物理意义上的计算机);二是可以方便地进行服务器管理,管...
分类:其他好文   时间:2015-08-25 13:01:47    阅读次数:147
Spark入门实战系列--4.Spark运行架构
Spark注重建立良好的生态系统,它不仅支持多种外部文件存储系统,提供了多种多样的集群运行模式。部署在单台机器上时,既可以用本地(Local)模式运行,也可以使用伪分布式模式来运行;当以分布式集群部署的时候,可以根据自己集群的实际情况选择Standalone模式(Spark自带的模式)、YARN-Client模式或者YARN-Cluster模式。...
分类:其他好文   时间:2015-08-19 09:29:03    阅读次数:241
PHP 一致性哈希算法的一种简单实现
在分布式系统中,如果某业务可以由多个相同的节点处理,很容易想到用HASH的方式将业务请求分散到这些节点处理,比如memecache缓存等分 布式集群应用,如果只是简单的使用,不涉及用户用户状态等信息,则可以直接采用取模算法。正常情况下,取模算法好像也不错,但是一旦增加节点或者其中一个 节点上宕机的话...
分类:编程语言   时间:2015-08-18 13:54:37    阅读次数:140
677条   上一页 1 ... 53 54 55 56 57 ... 68 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!