1.Hadoop-1.2.1 API 文档:http://hadoop.apache.org/docs/r1.2.1/api/2.几个API: create(Pathf) :Opens an FSDataOutputStream at the indicated Path. copyFromLo.....
hadoop-2.6.0运行WordCount
1、启动Hadoop:
2、创建file
文件夹:
这个是建在本地硬盘上的:
进入该目录:
创建两个 txt 文件:
结果如下:
3、在HDFS上创建输入文件夹目录 input :
把本地硬盘上创建的文件传进input 里面:
查看结果:
4、Hadoop自带的运...
分类:
其他好文 时间:
2015-01-22 18:12:14
阅读次数:
195
1. SQL 基础进入查缺补漏阶段2. PL/SQL进入 practice 阶段3. Fundamental 1这部分还是比较重要architecture数据库启动与关闭步骤instance 与 parameter filecreate database 手动 和 dbca比较常用的数据字典cont...
分类:
其他好文 时间:
2015-01-22 12:42:27
阅读次数:
189
CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA?是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。 开发人员现在....
分类:
其他好文 时间:
2015-01-22 01:30:11
阅读次数:
360
1、Hadoop生态系统 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版。 是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,...
分类:
其他好文 时间:
2015-01-21 14:49:42
阅读次数:
10752
MVP:界面与业务逻辑分离在Winform中的应用MVP,Model-View-Presenter的缩写。在MSDN上,下载了一个示例,http://www.microsoft.com/china/msdn/library/architecture/architecture/architecture...
分类:
其他好文 时间:
2015-01-21 13:11:40
阅读次数:
122
当用户上传数据到HDFS上时经常会出现这个错误hdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.net.NoRouteToHostException:Noroutetohost这种情况网上的解决办法通常是告诉要关闭防火墙,至于关于哪台主机的防火墙并没提。查看日志文件,只说是Noroutetohost没有提端口..
分类:
其他好文 时间:
2015-01-20 18:37:47
阅读次数:
188
首先从flume官网去下载源码
http://flume.apache.org/download.html
下载完之后,解压,首先去除源码中hdfs和hadoop的test依赖
apache-flume-1.5.2-src\flume-ng-sinks\flume-hdfs-sink\pom.xml
org.apache.hbase...
分类:
Web程序 时间:
2015-01-20 18:05:28
阅读次数:
210
HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...
分类:
其他好文 时间:
2015-01-20 17:01:44
阅读次数:
170
问题导读:
1、使用Sqoop哪个工具实现多表导入?
2、满足多表导入的三个条件是?
3、如何指定导入HDFS某个目录?如何指定导入Hive某个数据库?
一、介绍
有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中,这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。...
分类:
数据库 时间:
2015-01-20 15:52:47
阅读次数:
302