http://songkun.me/2018/07/12/2018-07-12-adt-in-haskell-and-scala/ 函数式编程接触久了以后，我们会发现很多 FP 语言（这里指静态 FP 语言）具有不少类似的语言特性，这非常自然，因为语言特性就那么多，好用、实用的特性更少，这一方面造成 ...
分类：
其他好文 时间：
2020-04-12 16:54:27
阅读次数：
96
kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
模式匹配，类似于java中的switch case 语法，即对一个值进行条件判断，然后针对某种条件，针对不同的处理 但是scala的模式匹配的功能比java的switch case语法的功能要强大很多，java的switch case语法只能对值进行匹配，但是scala的模式匹配除了可以对值进行匹配 ...
分类：
其他好文 时间：
2020-04-12 07:41:07
阅读次数：
72
查找文件： [root@bigdata admin]# find . -type f -name "a.txt" ./Downloads/hadoop-2.10.0/a.txt 拥有遍历文件夹功能的 查找关键字 文件、文件夹： [root@bigdata admin]# vi a [root@big ...
分类：
系统相关 时间：
2020-04-11 20:26:04
阅读次数：
98
[root@localhost ~]#firewall-cmd --state not running [root@bigdata hadoop]# systemctl is-enabled firewalld.service;echo $? （查看服务是否开机启动） enabled 0 [root ...
分类：
系统相关 时间：
2020-04-11 18:17:13
阅读次数：
249
1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
简介ApacheMaven是一个项目管理及构建工具，主要用于Java项目的构建，Maven还可以用于构建和管理以C＃，Ruby，Scala和其他语言编写的项目。Maven解决了构建软件那几方面问题：编译构建传统的项目没有使用Maven大部分情况是由IDE对编写代码进行自动编译，将JAVA文件编译成CLASS之后，由研发对bin目录下的CLASS进行打包部署。而Maven通过插件进行构建，并自动打包
分类：
其他好文 时间：
2020-04-10 00:46:49
阅读次数：
81
共性： 1、都是spark平台下的分布式弹性数据集 2、都有惰性机制，创建、转换如map操作时不会立即执行，遇到foreach等Action算子时才开始运算。 3、都会自动缓存计算 4、都有partition概念 区别： 1、RDD不支持sparkSQL操作 2、DF每一行类型固定为Row，只有通过 ...
分类：
其他好文 时间：
2020-04-08 21:03:30
阅读次数：
292
本文参考 出自LeetCode上的题库 —— 字符串转整数，本篇文章也主要是参考LeetCode上的官方题解 官方题解采用了编译原理中有限自动机的概念，没想到编译原理中的知识可以应用到算法中，所以在这篇文章里记录下scala版本的解法，但是不对具体题解作介绍，想看具体解释还请移步力扣官网 https ...
分类：
编程语言 时间：
2020-04-07 22:44:50
阅读次数：
96
1.kafka是什么？ Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一 ...
分类：
其他好文 时间：
2020-04-07 22:14:54
阅读次数：
93
