import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类:
其他好文 时间:
2021-07-02 16:33:14
阅读次数:
0
import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}// 创建一个本地模式的StreamingContext, 两个工作线程, 1s的批处理间隔//Master要求 ...
分类:
其他好文 时间:
2021-07-02 16:32:11
阅读次数:
0
【推荐系统算法实战】 基于网页的 Notebook:Zeppelin 交互式数据分析 如果有一个工具,可以让你在同一个Web页面上写Shell代码,Python代码,Scala代码,你想要么? 如果还可以执行PySpark代码和Spark代码呢?心动了吗? 如果还可以写Hive-SQL,Spark- ...
分类:
编程语言 时间:
2021-07-02 15:35:46
阅读次数:
0
监控目录数据变化 --- inotify
将数据进行传输 --- rsync
将监控和传输进行整合 --- sersync ...
分类:
其他好文 时间:
2021-07-02 15:24:55
阅读次数:
0
自定义 1.引入依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.17</version> </dependency> 2.写一个自己的配置类 分析: 在springb ...
分类:
编程语言 时间:
2021-07-01 17:15:58
阅读次数:
0
摘要:CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用,为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》,原文作者:大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类:
Web程序 时间:
2021-06-30 18:44:44
阅读次数:
0
mybatis和spring整合 需要jar包 1、spring 2、mybatis 3、mybatis和spring的整合包(下载地址:https://github.com/mybatis/spring) 3.1、下载只有maven工程源码,没有jar包 3.2、根据源码自己生成,导入maven工 ...
分类:
编程语言 时间:
2021-06-30 18:41:47
阅读次数:
0
关于云技术的文章很多,我也就不介绍那些非常技术性的东西了,主要分享一些我在学习云技术的时候了解了些什么,以及我工作中接触到云的时候,主要考虑的问题。 云基本定义 云的专业定义在百科和其他blog上面都会写,我就不引用了,简单来说,云技术是一种可以整合闲置资源进行动态分配和按需分配的技术。其中资源主要 ...
分类:
其他好文 时间:
2021-06-30 18:28:56
阅读次数:
0
引入maven <dependency> <groupId>com.google.protobuf</groupId> <artifactId>protobuf-java</artifactId> <version>3.5.1</version> </dependency> 将protoc文件生成j ...
分类:
编程语言 时间:
2021-06-29 16:11:55
阅读次数:
0
package cn.irisz.steam import org.apache.flink.api.common.RuntimeExecutionMode import org.apache.flink.streaming.api.scala._ import org.apache.flink.t ...
分类:
其他好文 时间:
2021-06-29 15:38:43
阅读次数:
0