// hadoop+spark二次排序代码 package com.swust.hadoop; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spa ...
分类：
其他好文 时间：
2020-04-26 16:43:00
阅读次数：
64
腾讯地图批量转坐标-demo <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta name="viewport" content="widt ...
分类：
其他好文 时间：
2020-04-26 13:44:21
阅读次数：
165
一、Source 代码地址：https://gitee.com/nltxwz_xxd/abc_bigdata 1.1、flink内置数据源 1、基于文件 env.readTextFile("file://path") env.readFile(inputFormat, "file://path"); ...
分类：
其他好文 时间：
2020-04-24 21:42:02
阅读次数：
85
1.scala中定义在object中的变量，方法都是静态的,object叫对象，相当于java中的单例对象。object不可以传参,Trait也不可传参。2.scala 中一行代码后可以写“;”也可以不写，会有分号推断机制。多行代码写在一行要用分号隔开。3.定义变量用var,定义常量用val ， a ...
分类：
其他好文 时间：
2020-04-24 17:27:02
阅读次数：
84
通过继承AccumulatorV2可以实现自定义累加器。 官方案例可参考:http://spark.apache.org/docs/latest/rdd-programming-guide.html#accumulators 下面是我自己写的一个统计卡种数量的案例。 package com.shua ...
分类：
其他好文 时间：
2020-04-24 00:55:29
阅读次数：
84
scala代码： package offline import org.apache.spark.ml.feature.{HashingTF, IDF} import org.apache.spark.ml.linalg.Vectors import org.apache.spark.sql.Spa ...
分类：
其他好文 时间：
2020-04-23 21:27:31
阅读次数：
67
Spark SQL原理解析前言： "Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述" 这一次要开始真正介绍Spark解析SQL的流程，首先是从Sql Parse阶段开始，简单点说，这个阶段就是使用Antlr4，将一条Sql语句解析成语法树。 可能有童鞋没接触过antlr4这个 ...
分类：
数据库 时间：
2020-04-23 20:59:04
阅读次数：
93
1. 下载wordcount jar 文件 下载文件夹放置你的目录： https://github.com/yjy24/bigdata_learning/blob/master/hadoopMapRedSimple.zip 2. 启动 hadoop 管理员身份运行window cmd： 启动 Had ...
背景在Spark 1.* 版本中不支持Hive Perment Function的加载，使用起来不是很方便；在Spark 2.* 版本中通过HiveExternalCatalog 中的HiveClient 来直接和hive metaStore交互，轻松实现Hive Perment Function的 ...
分类：
其他好文 时间：
2020-04-23 15:06:34
阅读次数：
64
一、流 动态产生无穷多的数据，末尾元素遵循lazy规则 object StreamDemo { //生成流的方法 def numStream(n: BigInt): Stream[BigInt] = n #:: numStream(n + 1) def main(args: Array[String ...
分类：
其他好文 时间：
2020-04-23 11:50:31
阅读次数：
68
