DStream接收socket数据统计 安装并启动生产者 #在linux系统上安装nc工具，利用它向某个端口发送数据 yum -y install nc #执行发送数据命令 nc -lk port 执行streaming依赖 <dependency> <groupId>org.apache.spar ...
分类：
其他好文 时间：
2020-04-30 19:37:50
阅读次数：
83
相关函数： 操作DataFrame 1.data.printSchema:打印出每一列的名称和类型 2.data.show(numRows:Int):输出data 3.Data.head(n:int).foreach(println): 这个函数也需要输入一个参数标明需要采样的行数，而且这个函数返回 ...
分类：
其他好文 时间：
2020-04-29 15:01:03
阅读次数：
60
spark批处理模式： receiver模式：接收数据流，负责数据的存储维护，缺点：数据维护复杂（可靠性，数据积压等），占用计算资源（core，memory被挤占） direct模式：数据源由三方组件完成，spark只负责数据拉取计算，充分利用资源计算 window计算： def windowApi ...
分类：
其他好文 时间：
2020-04-29 14:30:19
阅读次数：
68
问题 执行 spark-submit --master local模式时产生warn并达重试数限制失败，导致spark local不能启动： ... WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port ...
分类：
其他好文 时间：
2020-04-29 12:46:42
阅读次数：
126
Spark SQL支持通过DataFrame接口在各种数据源上进行操作。DataFrame可以使用关系变换进行操作，也可以用来创建临时视图。将DataFrame注册为临时视图允许您对其数据运行SQL查询。本节介绍使用Spark Data Sources加载和保存数据的一般方法，然后介绍可用于内置数据 ...
分类：
其他好文 时间：
2020-04-29 10:49:26
阅读次数：
64
一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co ...
分类：
其他好文 时间：
2020-04-28 20:13:43
阅读次数：
57
第一种方式： private def singleDataSaveMysql(sql: String) = { val dataFrame2: DataFrame = ss.sql(sql) val resultRDD = df2rdd(dataFrame2) val value: RDD[Map[ ...
分类：
数据库 时间：
2020-04-28 17:18:05
阅读次数：
50
本文将分两部分来介绍如何在IntelliJ IDEA中运行Java/Scala/Spark程序： 基本概念介绍 在IntelliJ IDEA中创建和运行java/scala/spark程序 基本概念介绍 IntelliJ IDEA 本文使用版本为： ideaIC 2020.1 IDEA 全称 Int ...
分类：
编程语言 时间：
2020-04-28 14:59:06
阅读次数：
59
Spark小实例——求文件中的最大值和最小值（IDEA实现）
分类：
其他好文 时间：
2020-04-27 22:38:23
阅读次数：
162
Hive是什么？ 个人理解是把存储在hdfs上的数据映射位一张数据库表，提供类sql（HQL）语句的查询，方便数据的分析，查询。另外一点就是自动的把HQL转化为MapRudecu、Tez、Spark执行。 Hive的架构 用户接口：可以是hive shell，jdbc（java 访问hive），we ...
分类：
其他好文 时间：
2020-04-27 15:21:33
阅读次数：
59
