Sqoop简介 Sqoop是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具 原理: 将导入或导出命令翻译成Mapreduce程序来实现。 在翻译出的Mapreduce中主要是对InputFormat和OutputFormat进行定制 RDBMS到HD ...
分类：
Web程序 时间：
2019-11-21 21:27:34
阅读次数：
113
随手记一些Hive容易遗漏的点或者问题，之后可能还会继续更新。 1、Hive使用一个inputFormat对象将输入流分割成记录，然后使用一个outputFormat对象来将对象格式化为输出流，再使用一个SerDe在读数据时将记录解析成列，在写数据时将列编码成记录。 2、where条件对分区字段使用 ...
分类：
其他好文 时间：
2019-11-10 17:14:55
阅读次数：
86
在“MapReduce--input之输入原理”中说到实现定义输入的方法，其实就是继承InputFormat以及RecordReader实现其中的方法。下面例子讲解操作。1、需求将多个文件合并成一个大文件（有点类似于combineInputFormat），并输出。大文件中包括小文件所在的路径，以及小文件的内容。2、源码inputFormatpublicclassSFileInputFormatex
分类：
其他好文 时间：
2019-10-25 10:12:07
阅读次数：
70
一、基本原理?在map执行之前，需要将数据进行切片，每个切片对应一个map任务。而每个map任务并不是直接处理这些切片数据的，它是处理KV的。所以问题有两个：数据是如何切片的、切片是如何转为KV给map处理的。?这就涉及到两个抽象类，InputFormat以及RecordReader。具体为什么是这两个抽象类，请看之前input的源码分析1、InputFormatpublicabstractcla
分类：
其他好文 时间：
2019-10-25 09:16:26
阅读次数：
95
大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个 ...
分类：
其他好文 时间：
2019-09-02 21:00:24
阅读次数：
165
第五天课程大纲：1、社交粉丝的数据分析：求共同好友2、倒排索引的建立3、自定义inputFormat合并小文件 4、自定义outputformat5、分组求topN6、MapReduce的其他补充 了解7、mapreduce的参数优化 理解8、yarn的资源调度管理 例子1：社交粉丝数据分析 逻辑分 ...
分类：
其他好文 时间：
2019-06-16 00:21:34
阅读次数：
112
Mapper Input： 输入为 InputFormat产生的 InputSplit The Hadoop MapReduce framework spawns one map task for each InputSplit generated by the InputFormat for th ...
分类：
编程语言 时间：
2019-04-15 19:57:43
阅读次数：
183
建表语句 CREATE EXTERNAL TABLE `my_lzo_table`(`something` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS INPUTFORMAT 'com.hadoop.mapred.D ...
分类：
其他好文 时间：
2019-02-26 18:58:57
阅读次数：
391
第3章 MapReduce框架原理3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 CombineTextInputFormat切片机制3.1.5 Combin ...
分类：
其他好文 时间：
2019-02-16 00:07:17
阅读次数：
204
https://chocolatey.org ## Install Chocolatey CMD (Recommand): @"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat N... ...
分类：
其他好文 时间：
2019-02-14 00:23:42
阅读次数：
207
