码迷,mamicode.com
首页 >  
搜索关键字:hadoop 分布式    ( 35770个结果
网站的分布式架构
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭 互联网的网站和大部分企业管理软件一样都是使用B/S架构模型,但是大型的公共网站B/S架构会更加复杂,对架构人员的要求更高,今天我想在自己博客里聊聊我设计的网站的B/S技术架构。 不管是B/S架构的企业管理...
分类:Web程序   时间:2014-05-12 17:56:25    阅读次数:515
修改HDFS块大小
环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf...
分类:其他好文   时间:2014-05-06 08:59:21    阅读次数:368
secondary namenode和namenode分离
namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
分类:其他好文   时间:2014-05-06 01:08:13    阅读次数:388
Hadoop初学指南(5)--MapReduce入门
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:其他好文   时间:2014-05-03 01:53:48    阅读次数:519
Hadoop初学指南(6)--MapReduce的简单实例及分析
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:其他好文   时间:2014-05-03 01:51:40    阅读次数:382
Git教程笔记
1Git基础说明1.1Git与subversion的区别Git只关注文件数据的整体内容是否发生改变,而不关心文件内容的具体差异Git是分布式的版本控制系统,因此大多数的操作不需要网络环境所有保存在Git数据库中的东西都是通过对内容的SHA-1计算的hash值作为索引而不是靠文件名当把本地工作推送..
分类:其他好文   时间:2014-05-03 01:32:11    阅读次数:424
CentOS 6.5 Corosync+Pacemaker crm实现DRBD高可用过程及DRBD详解
DRBD(DistributedReplicatedBlockDevice)分布式复制块设备,它是Linux平台上的分散式储存系统,通常用于高可用性(highavailability,HA)集群中。DRBD类似磁盘阵列的RAID1(镜像),只不过RAID1是在同一台电脑内,而DRBD是透过网络。DRBDResource:DRBD所具有的几种属性:resou..
分类:其他好文   时间:2014-05-03 01:12:42    阅读次数:747
通过secondary namenode恢复崩溃的namenode
模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
分类:其他好文   时间:2014-05-02 14:44:28    阅读次数:517
分布式版本控制
版本控制工具CVS,SVN,bitkeeper,git,mercurial;分布式的版本控制工具opensuse 初始文件 /etc/rc.local2,openSuSE开机自启动脚本设置启动程序的设置比较特殊,以openSUSE 11和10 sp2为例。openSUSE的启动较分散,主要有/etc...
分类:其他好文   时间:2014-05-02 09:51:58    阅读次数:419
试用分布式存储MooseFS
服务器分布:概述:MooseFS是一种分布式文件系统,MooseFS文件系统结构包括以下四种角色:1、管理服务器managingserver(master)2、元数据日志服务器Metaloggerserver(Metalogger)3、数据存储服务器dataservers(chunkservers)4、客户机挂载使用clientcomputers角色描述:1..
分类:其他好文   时间:2014-05-02 08:10:13    阅读次数:458
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!