与Scala语言相比，Python有其独特的优势和广泛的应用，python调用接口,因此Spark也推出了PySpark，它在框架上提供了一个使用Python语言的接口，python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类：
编程语言 时间：
2020-03-29 01:41:51
阅读次数：
92
本文参考 关于环境搭建，imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子，但是有些并没有说明为什么选择这个的版本，我们知道这些开源的技术发展很快，所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类：
其他好文 时间：
2020-03-28 13:35:54
阅读次数：
84
1、代码块：代码块里面，最后一哥代码块表达式的值，就是我们的返回值 2、1）for (j <- 表达式/数组、集合) 2）1 to 2 结果 1,2 3） 1 until 2 结果 1 4) scala中没有运算符，+，-，*只是一种方法 5）如果想把for循环的值返回去，需要关键字yield 返回 ...
分类：
其他好文 时间：
2020-03-27 00:43:07
阅读次数：
77
[toc] 1、前言 最近在学习大数据，之前用到了Eclipse，最近因为写Scala所以用到了这款编译器IntelliJ IDEA。出于学习的目的，顺便总结下，希望对你有所帮助~ 2、IntelliJ IDEA简介 IDEA 全称 IntelliJ IDEA，是java编程语言开发的集成环境。In ...
分类：
其他好文 时间：
2020-03-26 01:05:19
阅读次数：
141
Flink1.10版本支持SQLDDL的特性，本文章以从kafka消费数据，写入jdbc为例介绍整个流程。具体操作如下：1.下载flink1.10的安装包并解压：https://www.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz进入flink的lib目录，采用wget或是本地下载拷贝的方式下载依赖的conne
分类：
数据库 时间：
2020-03-25 10:31:34
阅读次数：
483
[toc] 一、线性代数 万事万物都可以被抽象成某些特征的组合，线性代数的本质是将具体事物抽象为数学对象，描述其静态和动态的特征。 常见概念 标量（scalar） 一个标量 a 可以是整数、实数或复数 向量（vector） 多个标量 a1,a2,?,an 按一定顺序组成一个序列。通常用一维数组表示， ...
分类：
其他好文 时间：
2020-03-24 13:22:25
阅读次数：
126
课程使用2.11.8版本 打开scala2.11.8下载页面 拉倒页面最下方，点击Source code(zip)进行下载 解压到指定文件夹这里为了避免出现问题，也是解压到不含空格和中文的目录 我这里是解压到了C盘 解压后进行环境变量配置 右键我的电脑-》属性-》高级环境设置-》环境变量 双击系统变 ...
Apache Flink 的简介 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也 ...
分类：
Web程序 时间：
2020-03-23 12:36:54
阅读次数：
88
1、什么是Scala Scala是一个面向对象和面向函数式的多范式编程语言，并且Scala还是基于JVM的编程语言，Scala运行于Java平台，兼容现有Java程序。 面向对象：Scala是纯面向对象的编程语言，在Scala编程的世界里 “每个值都是对象，每个符号都是方法操作”。 面向函数：函数是 ...
分类：
其他好文 时间：
2020-03-23 09:50:18
阅读次数：
54
查看kafka版本 进入kafka安装目录 ... kafka/libs，看到类似kafka_2.12-2.0.0.jar这样的文件，2.12为scala版本，2.0.0是kafka版本（kafka使用了Scala进行开发）. zookeeper-server-start.sh 参照 kafka环境 ...
分类：
其他好文 时间：
2020-03-22 21:18:26
阅读次数：
86
