本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark系列的第一篇文章。 最近由于一直work from home节省了很多上下班路上的时间，加上今天的LeetCode的文章篇幅较小，所以抽出了点时间加更了一篇，和大家分享一下最近在学习的spark相关的内容。看在我这么拼的 ...
分类：
其他好文 时间：
2020-04-05 13:48:29
阅读次数：
100
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL？如果大家了解Hive的话，应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRedu ...
分类：
数据库 时间：
2020-04-05 13:33:32
阅读次数：
113
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
./dev/make-distribution.sh —tgz —name h32hive -Pyarn -Phadoop-3.2.1 -Dhadoop.version=3.2.1 -Phive -Phive-thriftserver -DskipTests +++ dirname ./dev/ma ...
分类：
其他好文 时间：
2020-04-04 21:00:49
阅读次数：
101
在spark ml pipeline的特征提取和转换阶段，有一种transformer可以将机器学习训练数据中常见的字符串列（例如表示各种分类）转换为数值索引列，以便于计算机处理。它就是StringIndexer。它支持的索引范围为[0, numLabels)（不支持的会编码为numLabels）， ...
分类：
其他好文 时间：
2020-04-04 09:34:33
阅读次数：
69
背景 1）试试本地模式的spark streaming 2）试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下： package com.hxh import org.apache.spark.SparkConf import org.apach ...
分类：
其他好文 时间：
2020-04-03 19:55:21
阅读次数：
63
FFmpeg 是一个专业的多媒体框架，能够解码、编码、转码、复用、解复用、流式传输、过滤和播放几乎所有格式的媒体文件。 其核心就是 FFmpeg 程序本身，是一个基于命令行的视频和音频处理工具，多用于视频转码、基础编辑（修剪和合并）、视频缩放、后期效果制作等场景。 这里通过一些示例简单地介绍下 ff ...
分类：
其他好文 时间：
2020-04-03 13:46:00
阅读次数：
76
package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ impo ...
分类：
其他好文 时间：
2020-04-03 12:32:15
阅读次数：
282
推流 就是将采集到的音频、视频数据通过流媒体协议发送到流媒体服务器。推流对这个直播链路影响非常大，如果推流的网络不稳定，无论我们如何做优化，观众的体验都会很糟糕，所以也是我们排查问题的第一步。推送协议主要有三种： （1）RTSP（Real Time Streaming Protocol）：实时流传送 ...
分类：
其他好文 时间：
2020-04-03 12:00:53
阅读次数：
81
1.Spark可以读取多种数据源，本实例为读取mysql. 2.准备工作： sacla，idea，mysql-connector-java，版本从：https://mvnrepository.com/获取 3.代码示例： object WordFreq { def main(args: Array[ ...
分类：
数据库 时间：
2020-04-03 11:55:22
阅读次数：
92
