原文链接： https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化（Data locality）是指将计算移动到数据所在的节点，而不是移动数据移动到计算所在的节点。在Hadoop中，一 ...
分类：
其他好文 时间：
2021-06-18 19:09:26
阅读次数：
0
https://blog.csdn.net/QYmufeng/article/details/79580582 我的环境： 系统平台：Ubuntu14.04TLS（64位） Hadoop环境：Hadoop2.8.3 Eclipse：Neon.2 Release(4.6.2) Eclipse插件：ha ...
分类：
系统相关 时间：
2021-06-17 17:05:08
阅读次数：
0
spark程序初始化HiveContext报错：空指针异常 版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac ...
分类：
其他好文 时间：
2021-06-17 16:37:17
阅读次数：
0
在自己5年的开发生涯中时常在想crud对开发水平的提升真的有用吗？答案当然是没用的。通过自身的经历告诉大家唯有提高架构思想，完善问题解决方案才有提升的可能。在此就不再啰嗦了直接上干货。 场景描述：有这样一张关系型数据表包括身份证，姓名，年龄，手机号，家庭住址（数据量太大普通关系型数据库已无法支撑）。 ...
分类：
其他好文 时间：
2021-06-13 10:32:35
阅读次数：
0
1 需求描述 统计硅谷影音视频网站的常规指标，各种 TopN 指标： -- 统计视频观看数 Top10 -- 统计视频类别热度 Top10 -- 统计出视频观看数最高的 20 个视频的所属类别以及类别包含 Top20 视频的个数 -- 统计视频观看数 Top50 所关联视频的所属类别排序 -- 统计 ...
分类：
其他好文 时间：
2021-06-13 10:04:44
阅读次数：
0
4.1 统计视频观看数 Top10 思路：使用 order by 按照 views 字段做一个全局排序即可，同时我们设置只显示前 10 条。 最终代码： SELECT videoId, views FROM gulivideo_orc ORDER BY views DESC LIMIT 10; 4. ...
分类：
其他好文 时间：
2021-06-13 10:04:23
阅读次数：
0
一、JVM 二、Java集合 三、Java多线程并发 四、Java基础 五、Spring原理 六、微服务 七、Netty与RPC 八、网络 九、日志 十、RabbitMQ 十一、MongoDB 十二、设计模式 十三、负载均衡 十四、数据 十五、Java算法 十六、数据结构 十七、Hadoop 十八、 ...
分类：
编程语言 时间：
2021-06-13 10:00:32
阅读次数：
0
4 Join 语句 4.1 等值 Join Hive 支持通常的 SQL JOIN 语句，但是只支持等值连接，不支持非等值连接。 案例实操 （1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称； hive (default)> select e.empno, e.ename, ...
分类：
编程语言 时间：
2021-06-13 10:00:11
阅读次数：
0
HBase表热点 1 什么是热点 检索habse的记录首先要通过row key来定位数据行。 当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。 2 热点的解决方 ...
分类：
其他好文 时间：
2021-06-13 09:58:55
阅读次数：
0
6 分桶及抽样查询 6.1 分桶表数据存储 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径；分桶针 ...
分类：
其他好文 时间：
2021-06-13 09:57:59
阅读次数：
0
