标签：读一行 input color 了解 高级 步骤 数据分析 小文件 apr
第五天课程大纲：
1、社交粉丝的数据分析：求共同好友
2、倒排索引的建立
3、自定义inputFormat合并小文件
4、自定义outputformat
5、分组求topN
6、MapReduce的其他补充 了解
7、mapreduce的参数优化 理解
8、yarn的资源调度管理
以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的，即A的好友列表中有B，但B可能把A删除了）
A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G:A,C,D,E,F
H:A,C,D,E,O
I:A,O
J:B,O
K:A,C,D
L:D,E,F
M:E,F,G
O:A,H,I,J
求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？
解题思路：
|
第一步 map 读一行 A:B,C,D,F,E,O 输出 <B,A><C,A><D,A><F,A><E,A><O,A> 在读一行 B:A,C,E,K 输出 <A,B><C,B><E,B><K,B>
REDUCE 拿到的数据比如<C,A><C,B><C,E><C,F><C,G>...... 输出： <A-B,C> <A-E,C> <A-F,C> <A-G,C> <B-E,C> <B-F,C>.....
第二步 map 读入一行<A-B,C> 直接输出<A-B,C>
reduce 读入数据 <A-B,C><A-B,F><A-B,G>....... 输出： A-B C,F,G,..... |
代码：
第3节 mapreduce高级：2、3、课程大纲&共同好友求取步骤一、二
标签：读一行 input color 了解 高级 步骤 数据分析 小文件 apr
原文地址：https://www.cnblogs.com/mediocreWorld/p/11029304.html
