码迷,mamicode.com
首页 >  
搜索关键字:fdfs fastdfs 集群 分布式    ( 42207个结果
Centos安装Memcache
Memcache概述官方Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据.简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度。+个人理解1.它是基于C语言的Libevent库进行开发的2.Memcac...
分类:其他好文   时间:2014-05-06 01:05:02    阅读次数:364
Hadoop集群实施成功后,再次格式化名称节点
Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8...
分类:其他好文   时间:2014-05-06 00:52:59    阅读次数:491
怎样控制namenode检查点发生的频率
控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period 1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huser@...
分类:其他好文   时间:2014-05-06 00:26:48    阅读次数:429
Hadoop之词频统计小实验(基于单节点伪分布)
声明:1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。 2)本小实验工作环境为Ubuntu操作系统,hadoop1-2-1,jdk1.8.0。 3)统计词频工作在单节点的伪分布上,至于真正实际集群的配置操作还没有达到,希望能够由本文抛砖引玉。(一)Hadoop的配置修正 网上有很多...
分类:其他好文   时间:2014-05-05 21:54:47    阅读次数:456
Mahout安装
在Hadoop集群环境下安装Mahout。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、简介mahout项目主页:https://mahout.apache.org/下载二进制包,上传到服务器。2、安装用集群环境用户安装,解压二进制包。...
分类:其他好文   时间:2014-05-05 21:35:23    阅读次数:429
ZooKeeper做独立服务器运行(上)
ZooKeeper做独立服务器运行(上)作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs一、ZooKeeper安装及配置版本:ZooKeeper v3.4.6稳定版要设置ZooKeeper以单独服务器的模式运行是非常直接的。服务器包含在单个的JAR文件内,因此安装就只需创建一个配置文件。一旦下载了ZooKeeper稳定版,那么解压它,并进入ZooKeep...
分类:其他好文   时间:2014-05-05 21:30:05    阅读次数:255
基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。            现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。                                 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:其他好文   时间:2014-05-04 00:22:05    阅读次数:476
高效5步走,快速搭建Hadoop2伪分布环境
前两天将Hadoop2的完全分布式搭建文档整理发布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369),朋友相邀,就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2完全分布式后,就笑对“伪分布式”说声 呵呵吧。        前期的jdk环境、SSH免密钥登录配置在此就不再赘述了,直接进入hadoop2的配...
分类:其他好文   时间:2014-05-03 21:51:45    阅读次数:344
RDD的依赖关系
RDD的依赖关系 Rdd之间的依赖关系通过rdd中的getDependencies来进行表示, 在提交job后,会通过在DAGShuduler.submitStage-->getMissingParentStages privatedefgetMissingParentStages(stage: Stage): List[Stage] = { valmissing =newHash...
分类:其他好文   时间:2014-05-03 15:56:22    阅读次数:282
memcache
一、memcached简介Memcached是一款开源、高性能、分布式内存对象缓存系统,可应用各种需要缓存的场景,其主要目的是通过降低对Database的访问来加速web应用程序。它是一个基于内存的“键值对”存储,用于存储数据库调用、API调用或页面引用结果的直接数据,如字符串、对象等。m..
分类:其他好文   时间:2014-05-03 15:12:31    阅读次数:304
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!