[toc] 使用 或`concat_ws() `SQL函数，可以将一个或多个列连接到Spark DataFrame上的单个列中。在文本中，将学习如何使用这些函数，还可以使用原始SQL通过Scala示例来连接列。 Preparing Data & DataFrame 注意，我们需要导入spark对象上 ...
分类：
其他好文 时间：
2020-03-14 23:54:22
阅读次数：
61
1.安装scala 2.11.8 2.解压下载包 cd ~/下载 sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app cd ~/app sudo mv kafka_2.11-0.10.1.0/ ./kafka sudo chown -R hadoop ./k ...
分类：
其他好文 时间：
2020-03-14 19:56:39
阅读次数：
121
把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。 一、 Kafka介绍 Kafka是由Java和Scala编写的是一个分布式 ...
分类：
其他好文 时间：
2020-03-09 20:58:51
阅读次数：
88
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件(例如ActiveMQ、RabbitMQ)，Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类：
其他好文 时间：
2020-03-09 13:12:17
阅读次数：
58
官网 http://spark.apache.org/docs/2.3.1/rdd-programming-guide.html#accumulators http://spark.apache.org/docs/2.3.1/api/scala/index.html#org.apache.spark ...
分类：
其他好文 时间：
2020-03-08 17:55:40
阅读次数：
96
初学scala，和java存在很多不一致，有很多奇葩的语法，在日常使用中，可能自己不会这么写，但是很多存在于源码中，看源码的时候，经常看的一脸懵逼，因此在此总结部门差异点，部分。 文件名 1. java要求文件名和公共类名必须要求一致，scala不要求。 即 关键字 1. scala 中没有publ ...
分类：
编程语言 时间：
2020-03-08 13:57:53
阅读次数：
87
1、下载Scala2.11$ cd /root/soft$ wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2、安装Scala2.11$ tar -xzvf scala-2.11.8.tgz 3、配置环境变量$ v ...
分类：
其他好文 时间：
2020-03-06 15:19:18
阅读次数：
72
Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中。 1、下载首先去官网http: ...
常用语法规则 ^ 匹配输入字符串开始的位置。 $ 结尾 . 匹配除"\r\n"之外的任何单个字符。 [] 字符记 [^] 反向字符集 re* 前面的字符出现零次或多次，类似Java中的*； re+ 一次或多次，类似Java中的+； re? 零次或一次； re[n] n次 re[n,] 至少n次 re ...
分类：
其他好文 时间：
2020-03-05 13:50:22
阅读次数：
63
