码迷,mamicode.com
首页 >  
搜索关键字:hdfs architecture    ( 6541个结果
HDFS API 学习:几个常用的API
1.Hadoop-1.2.1 API 文档:http://hadoop.apache.org/docs/r1.2.1/api/2.几个API: create(Pathf) :Opens an FSDataOutputStream at the indicated Path. copyFromLo.....
分类:Windows程序   时间:2015-01-22 23:19:29    阅读次数:327
hadoop-2.6.0伪分布运行WordCount
hadoop-2.6.0运行WordCount   1、启动Hadoop:     2、创建file 文件夹:  这个是建在本地硬盘上的: 进入该目录: 创建两个 txt 文件: 结果如下: 3、在HDFS上创建输入文件夹目录 input : 把本地硬盘上创建的文件传进input 里面: 查看结果:   4、Hadoop自带的运...
分类:其他好文   时间:2015-01-22 18:12:14    阅读次数:195
SG 复习全部 (全部SG 总览)
1. SQL 基础进入查缺补漏阶段2. PL/SQL进入 practice 阶段3. Fundamental 1这部分还是比较重要architecture数据库启动与关闭步骤instance 与 parameter filecreate database 手动 和 dbca比较常用的数据字典cont...
分类:其他好文   时间:2015-01-22 12:42:27    阅读次数:189
CUDA简介
CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA?是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。 开发人员现在....
分类:其他好文   时间:2015-01-22 01:30:11    阅读次数:360
Hadoop核心组件
1、Hadoop生态系统 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版。 是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,...
分类:其他好文   时间:2015-01-21 14:49:42    阅读次数:10752
MVP设计模式的实现
MVP:界面与业务逻辑分离在Winform中的应用MVP,Model-View-Presenter的缩写。在MSDN上,下载了一个示例,http://www.microsoft.com/china/msdn/library/architecture/architecture/architecture...
分类:其他好文   时间:2015-01-21 13:11:40    阅读次数:122
Hadoop 运维(1)NoRouteToHostException: No route to host
当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException:Noroutetohost这种情况网上的解决办法通常是告诉要关闭防火墙,至于关于哪台主机的防火墙并没提。查看日志文件,只说是Noroutetohost没有提端口..
分类:其他好文   时间:2015-01-20 18:37:47    阅读次数:188
【Flume】flume ng 1.5.2源码编译的问题
首先从flume官网去下载源码 http://flume.apache.org/download.html 下载完之后,解压,首先去除源码中hdfs和hadoop的test依赖 apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml org.apache.hbase...
分类:Web程序   时间:2015-01-20 18:05:28    阅读次数:210
hadoop中HBase子项目入门讲解
HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...
分类:其他好文   时间:2015-01-20 17:01:44    阅读次数:170
Sqoop1.4.4实现关系型数据库多表同时导入HDFS或Hive中
问题导读:          1、使用Sqoop哪个工具实现多表导入?          2、满足多表导入的三个条件是?          3、如何指定导入HDFS某个目录?如何指定导入Hive某个数据库? 一、介绍         有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中,这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。...
分类:数据库   时间:2015-01-20 15:52:47    阅读次数:302
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!