HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File ...
分类：
其他好文 时间：
2019-05-08 00:31:43
阅读次数：
132
一、export1、export概述export工具将一组文件从HDFS导入到RDBMS。目标表必须已经存在于数据库中。根据用户指定的分隔符读取输入文件并将其解析为一组记录， 只有map；[root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop hel... ...
分类：
其他好文 时间：
2019-05-07 11:36:02
阅读次数：
174
一、前言 作为一个全栈工程师，必须要熟练掌握各种语言。。。HelloWorld。最近就被“逼着”走向了python开发之路，大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中，所以基本上python的相关知识都涉及到了，这里对一些基础操作以及hdfs操作做一总结，以备 ...
分类：
编程语言 时间：
2019-05-07 01:20:10
阅读次数：
242
1.sqoop的概述a.sqoop 是一款工具，是appche 旗下的一款工具，主要是负责 hadoop与RDBMS之间的数据迁移，即从hadoop 文件系统 导出数据到RDBMS,从RDBMS导入数据到hadoop hdfs,hive,hbase等数据存储系统。b.其实就是将 sqoop命令转换成 ...
分类：
其他好文 时间：
2019-05-06 19:26:59
阅读次数：
129
官网：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html Hadoop MapReduce Next Generation - Setting up a Single No ...
分类：
其他好文 时间：
2019-05-04 10:10:06
阅读次数：
260
在使用 hdfs 的时候出现如下错误： 18/01/12 09:04:34 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 mi ...
分类：
其他好文 时间：
2019-05-04 10:09:35
阅读次数：
158
1Hive简介 Hive对我来说就是一个基于HDFS的数据仓库，它提供了一个种类SQL语言（和SQL标准基本一样又有一些特殊的地方不一样），能让不精通Java语言而熟悉SQL语言的工程师，快速的对HDFS或其他存储文件系统如Amazon，S3，上的数据进行数据分析，是Hadoop生态系统中非常重要的 ...
分类：
其他好文 时间：
2019-05-03 11:37:53
阅读次数：
170
一：单词计数 1：单词计数总流程图 2：代码实现 1:Map阶段 2：Reduce阶段 3：Driver阶段 4：打包程序提交到集群上运行 命令 （如果jar包没在当前目录下，记得写好路径）： hadoop jar wordcount.jar it.dawn.YARNPra.wc_hdfs.Word ...
分类：
其他好文 时间：
2019-05-02 15:48:13
阅读次数：
168
