在介绍 Spark SQL之前，我们先了解两种基本的数据分析方式。 一、数据分析的两种方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种。 命令式 在前面的 RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,可以得到一个结果,通过结果再进行后续计算。例如： sc.para ...
分类：
数据库 时间：
2021-02-16 12:29:50
阅读次数：
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
1.需求 /** * 需求：每两个元素输出一次 */2 代码 package com.nx.streaming.lesson03; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api ...
分类：
其他好文 时间：
2021-02-15 12:25:40
阅读次数：
0
永久解决IDEA 连接 mysql时区问题` 找到mysql的安装路径下的my.ini文件 加入以下代码 [mysqld] default-time_zone='+8:00' 关闭然后保存 打开然后以管理员的身份运行命令提示符重启mysql服务，输入以下的命令 关闭mysql服务： net stop ...
分类：
数据库 时间：
2021-02-08 12:21:40
阅读次数：
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA ...
分类：
其他好文 时间：
2021-02-04 11:53:09
阅读次数：
0
函数语法 range(start, stop[, step]) 参数说明： start: 计数从 start 开始。默认是从 0 开始。例如range（5）等价于range（0， 5）; stop: 计数到 stop 结束，但不包括 stop。例如：range（0， 5） 是[0, 1, 2, 3, ...
分类：
编程语言 时间：
2021-02-03 10:43:16
阅读次数：
0
gitlab环境搭建，卸载，汉化 --卸载篇 完全卸载 停止gitlab gitlab-ctl stop 卸载gitlab rpm -e gitlab-ce 查看gitlab进程 ps aux | grep gitlab 杀掉第一个进程（就是带有好多…的进程） kill -9 pid // 杀掉后， ...
分类：
其他好文 时间：
2021-02-03 10:39:57
阅读次数：
0
二进制日志： 1先确认正在用的是哪个日志： show master status; 2查看当前日志文件的事件： show binlog events in 'mysql-bin.000003'; 3通过位置号截取二进制日志： mysqlbinlog --start-position --stop-p ...
分类：
其他好文 时间：
2021-02-03 10:37:19
阅读次数：
0
1.确认redis在后台开启 2.开放端口号6379 systemctl stop firewalld systemctl mask firewalld ...
分类：
其他好文 时间：
2021-02-02 11:24:29
阅读次数：
0
