前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
前提：Java环境已就绪 一、安装IDEA 二、安装插件 1、安装Scala插件Intellij IDEA->Preferences->Configure->Plugins 在输入框中输入Scala，找到Scala后，点击右边的install按钮，完成安装后重启Intellij IDEA生效 2、创 ...
分类：
系统相关 时间：
2021-02-16 12:04:34
阅读次数：
0
今天主要是帮家里干活，做过年的准备，学习的知识不多。 package com.chapter01.hanshu object Demo03 { def main(args: Array[String]): Unit = { println(sum(10, 20, 3, 5, 7, 9)) } def ...
分类：
其他好文 时间：
2021-02-15 12:00:55
阅读次数：
0
今日学习：scala package com.chapter01.inputcon object forcon { def main(args: Array[String]): Unit = { print("to循环：") //[1,5] //这里i相当于val变量，可以写成纯函数 for (i ...
分类：
其他好文 时间：
2021-02-09 12:22:04
阅读次数：
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
Spark环境配置 spark-env.sh #JAVA_HOME export JAVA_HOME=/export/servers/jdk1.8.0_271 #Spark Master Address #export SPARK_MASTER_HOME=node01 export SPARK_MA ...
分类：
其他好文 时间：
2021-02-04 11:53:09
阅读次数：
0
一、声名值和变量 1. val变量 1.1 隐式声明变量 scala> val myStr = "Hello World!" myStr: String = Hello World! 1.2 显式声明变量的类型 scala> val myStr2 : String = "Hello World!" ...
分类：
其他好文 时间：
2021-02-04 11:40:00
阅读次数：
0
各种feature的实现 执行shell 处理时间 处理参数 处理文件 logging test 多线程、进程，并发 语言 python groovy scala java C++ C shell go 执行shell, check output groovy a= "ls".execute(); ...
分类：
编程语言 时间：
2021-02-03 10:42:48
阅读次数：
0
今日学习：《机器学习十讲》第六讲，考研择校相关信息处理。 scala学习： package com.chapter01.datatype object TypeDemo02 { def main(args: Array[String]): Unit = { println("Long的最大值：" + ...
分类：
其他好文 时间：
2021-02-02 11:23:01
阅读次数：
0
每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
