码迷,mamicode.com
首页 >  
搜索关键字:hdfs architecture    ( 6541个结果
日志收集系统简介
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。 使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。 HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获 取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:     1 数据采集、转换和存储。正如上面介绍...
分类:其他好文   时间:2014-11-05 10:55:34    阅读次数:182
【甘道夫】通过bulk load将HDFS上的数据导入HBase
引言 通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能,下面简单记录下关键步骤。 bulkload的详细情况请参见官网文档。 过程 第一步:每台机器执行 ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml...
分类:其他好文   时间:2014-11-04 19:48:20    阅读次数:283
Mac 上使用Qt、OpenGL常见问题1——glut
:-1: error: symbol(s) not found for architecture x86_64:-1: error: linker command failed with exit code 1 (use -v to see invocation)在使用glut库的时候,会报以上错误...
分类:系统相关   时间:2014-11-04 16:39:15    阅读次数:345
Solr 4.10.1 + tomcat 7 + zookeeper + HDFS 集成 (SolrCloud+HDFS)配置
搭建SolrCloud ,zookeeper ,HDFS ,IK中文分词器,注意事项...
分类:其他好文   时间:2014-11-04 15:08:28    阅读次数:628
用Shell脚本过滤Hadoop中不能访问的节点
最近使用的一个集群hp1,因为维护集群的人不给力,节点总是过一段时间就掉一两个。今天发现重启hadoop时,HDFS已经进入保护模式了。 决定把slaves节点中的无法访问的节点全部过滤掉,所以写了一个小脚本,在这里记录一下,以后方便直接拿来使用。...
分类:系统相关   时间:2014-11-04 11:01:55    阅读次数:163
hadoop 常用配置
hadoop 常用配置项——转载:core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/...
分类:其他好文   时间:2014-11-03 22:08:11    阅读次数:289
PowerPC汇编指令集
PowerPC 体系结构规范(PowerPC Architecture Specification)发布于 1993 年,它是一个 64位规范 ( 也包含 32 位子集 )。几乎所有常规可用的 PowerPC(除了新型号 IBM RS/6000 和所有IBM pSeries 高端服务器)都是 32 位的。 PowerPC 处理器有 32 个(32 位或 64 位)GPR(通用寄存器)以及诸如...
分类:其他好文   时间:2014-11-03 19:23:31    阅读次数:1618
DataNode节点的数据块管理 FSVolumeSet、FSVolume
在分布式文件系统HDFS中,DataNode节点被用来存储文件的数据,确切的来说就是HDFS中的每一个文件是分块来存储的,一个文件可能有多个数据块,每一个数据块有多个副本,而且数据块的不同副本存储在不同的DataNode节点上,所以如果把整个HDFS集群看做一台机器的话,那么每一个DataNode节...
分类:其他好文   时间:2014-11-03 19:15:01    阅读次数:229
设计一种100%可用性服务的架构--适用于任何系统(B/S,C/S)[中英文版本]
设计一种100%可用性服务的架构--适用于任何系统(B/S,C/S)[中英文版本] -- How to design an architecture which have 100 percent availability service?...
分类:Web程序   时间:2014-11-03 17:46:54    阅读次数:235
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
结束historyserver的命令如下所示: 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果...
分类:其他好文   时间:2014-11-03 16:38:12    阅读次数:215
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!