默认是INFO级别，输出内容太多，影响真正输出结果的查找，需要修改成 WARN 或 ERROR 级别 1 spark根目录conf/log4j.properties.template拷贝到工程的resources目录下，并改名成 log4j.properties 2 修改log4j.properti ...
分类：
其他好文 时间：
2020-02-17 00:38:28
阅读次数：
80
1．Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 }{ "id":2, "name":"Bob","age":29 }{ "id":3 , "na ...
分类：
数据库 时间：
2020-02-16 11:31:05
阅读次数：
164
package com.hollysys.spark import java.util import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SQLContext, SparkSession} /** * Crea ...
分类：
其他好文 时间：
2020-02-16 00:54:58
阅读次数：
125
一、大数据spark 补写实验报告 学习 python 二、《一线架构师实践指南》阅读 阅读了最后一章 ...
分类：
其他好文 时间：
2020-02-15 23:20:51
阅读次数：
77
实验5-Spark SQL编程初级实践-题目-厦门大学-林子雨-Spark编程基础（Scala版） 1．Spark SQL 基本操作将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":3 ...
分类：
其他好文 时间：
2020-02-15 20:27:52
阅读次数：
119
Spark RDD五大特性 1、RDD由一组partition组成 2、每一个分区由一个task来处理 3、RDD之间有一些列依赖关系 4、分区类算子必须作用在kv格式得RDD上 5、spark为task执行提供了最佳计算位置，尽量将task发送到数据所在节点执行 spark 快的原因 1、spar ...
分类：
其他好文 时间：
2020-02-15 15:21:21
阅读次数：
73
1、spark中默认的分区器： Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数。 只有Key-Value类型的RDD才有分区器的 ...
分类：
其他好文 时间：
2020-02-14 22:47:17
阅读次数：
75
一、大数据spark 跟进scala的知识点学习。 视频号： av64039811 二、《一线架构师实践指南》阅读 阅读了第十六章 故事：困扰已久的非功能问题 ...
分类：
其他好文 时间：
2020-02-14 22:27:43
阅读次数：
86
（1）编写独立应用程序实现数据去重 package my.scala import org.apache.spark.{SparkConf, SparkContext} object case2 { def main(args: Array[String]): Unit = { val conf = ...
分类：
其他好文 时间：
2020-02-14 20:35:56
阅读次数：
246
1.keys 功能： 返回所有键值对的key 示例 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = rdd.map(x => (x,1)) pairRdd.ke ...
分类：
其他好文 时间：
2020-02-14 18:33:43
阅读次数：
110
