PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类：
其他好文 时间：
2020-05-22 21:35:06
阅读次数：
51
一、前言RowKey作为HBase的核心知识点，RowKey设计会影响到数据在HBase中的分布，还会影响我们查询效率，所以RowKey的设计质量决定了HBase的质量。是咱们大数据从业者必知必会的，自然也是面试必问的考察点。 那么rowkey到底是什么呢？原理是什么呢？怎么设计RowKey呢？使用 ...
分类：
其他好文 时间：
2020-05-22 21:32:21
阅读次数：
68
1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法. .mapPartitionsW ...
分类：
其他好文 时间：
2020-05-22 21:16:34
阅读次数：
92
自定义UDF 1.导入依赖 2.创建类，集成UDF，打jar，并放进hive/lib/目录下 3.在hive命令行中 4.使用自定义函数 自定义UDTF 1.导入依赖 2.创建类，集成GenericUDTF，实现方法 3.在hive命令行中 4.使用自定义函数 ...
分类：
其他好文 时间：
2020-05-22 19:31:18
阅读次数：
39
问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
一、Hive中load语句的语法说明 Hive Load语句不会在加载数据的时候做任何转换工作，而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法格式如下： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam ...
分类：
其他好文 时间：
2020-05-22 13:14:50
阅读次数：
53
