把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。 一、 Kafka介绍 Kafka是由Java和Scala编写的是一个分布式 ...
分类：
其他好文 时间：
2020-03-09 20:58:51
阅读次数：
88
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件(例如ActiveMQ、RabbitMQ)，Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类：
其他好文 时间：
2020-03-09 13:12:17
阅读次数：
58
官网 http://spark.apache.org/docs/2.3.1/rdd-programming-guide.html#accumulators http://spark.apache.org/docs/2.3.1/api/scala/index.html#org.apache.spark ...
分类：
其他好文 时间：
2020-03-08 17:55:40
阅读次数：
96
初学scala，和java存在很多不一致，有很多奇葩的语法，在日常使用中，可能自己不会这么写，但是很多存在于源码中，看源码的时候，经常看的一脸懵逼，因此在此总结部门差异点，部分。 文件名 1. java要求文件名和公共类名必须要求一致，scala不要求。 即 关键字 1. scala 中没有publ ...
分类：
编程语言 时间：
2020-03-08 13:57:53
阅读次数：
87
1、下载Scala2.11$ cd /root/soft$ wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 2、安装Scala2.11$ tar -xzvf scala-2.11.8.tgz 3、配置环境变量$ v ...
分类：
其他好文 时间：
2020-03-06 15:19:18
阅读次数：
72
Scala是一种类似Java的纯面向对象的函数式编程语言，由于函数具有明确的确定输入对确定输出的关系，所以适合推理和计算，一切函数都可以看成一系列的计算组成，另外由于Scala函数是没有副作用和透明的，所以非常适合做多核并行计算和云计算，现在正被越来越多的应用到生产中。 1、下载首先去官网http: ...
函数柯里化 理解： 指的是将一个接受多个参数的函数 变为 接受一个参数返回一个函数的固定形式，这样便于再次调用，例如f(1)(2) 例如 常见的add函数 当前的柯里化curry接收一个函数，并且返回一个函数用于处理剩下的参数，因此可以连续两次调用，即curr(add,10)(20) 返回30 难度 ...
分类：
Web程序 时间：
2020-03-06 13:43:14
阅读次数：
92
常用语法规则 ^ 匹配输入字符串开始的位置。 $ 结尾 . 匹配除"\r\n"之外的任何单个字符。 [] 字符记 [^] 反向字符集 re* 前面的字符出现零次或多次，类似Java中的*； re+ 一次或多次，类似Java中的+； re? 零次或一次； re[n] n次 re[n,] 至少n次 re ...
分类：
其他好文 时间：
2020-03-05 13:50:22
阅读次数：
63
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc ...
分类：
其他好文 时间：
2020-03-04 00:04:07
阅读次数：
89
