一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,
分类:
其他好文 时间:
2019-11-26 09:35:53
阅读次数:
66
本文从实践出发,介绍如何在windows环境下搭建scala环境,让你可以使用Spark语言继续自己的大数据之旅,增添一点乐趣。同时指出大部分朋友在初次运行spark-shell会遇到的报错:ERROR Shell: Failed to locate the winutils binary in t... ...
2019-11-25 22:13:53 GitHub:https://github.com/elephantscale/HI-labs/tree/master/hadoop-admin 作者Github:https://github.com/markkerzner 作者Github:https:// ...
分类:
其他好文 时间:
2019-11-25 23:14:38
阅读次数:
70
官网:https://www.scala-lang.org/ Scala概述 Scala(发音为/?skɑ?l?, ?ske?l?/)是一门多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序,Scala的编... ...
分类:
其他好文 时间:
2019-11-25 18:07:13
阅读次数:
60
基于上一步的代码和POM,flink1.8.0, scala 2.11.12 本地运行代码一直可以(pom中flink相关依赖的scope修改为compile) 打成jar包提交到本地local模式集群上运行一直报错,如下: org.apache.flink.client.program.Progr ...
分类:
Web程序 时间:
2019-11-25 09:19:47
阅读次数:
798
Error:scalac: Multiple 'scala-library*.jar' files (scala-library.jar, scala-library.jar, scala-library.jar) in Scala compiler classpath in Scala SDK s ...
分类:
编程语言 时间:
2019-11-24 19:15:17
阅读次数:
88
命令式: 面向过程: C语言、COBOL、Fortran, 面向对象: C++、Java、PHP、python、go、Objective C、C ,swift,ruby,groovy,D, 声明式: SQL 函数式: Haskell、F 、ML、Scala、lisp、logo、Scheme、R,MA ...
分类:
编程语言 时间:
2019-11-24 17:18:02
阅读次数:
82
面向对象:Java、C++、python、C 、VB、JavaScript、PHP、Ruby、objective—C、Delphi Groovy、R、VB.net、D、MATLAB、Go、Perl、SAS、dart、rust、scratch、 Fortran、Scala、RPG、kotlin、ada ...
分类:
编程语言 时间:
2019-11-24 14:02:05
阅读次数:
86
命令式: python、Java等 面向过程: C语言、COBOL、Fortran,等 面向对象: C++、Java、PHP、python、go、Objective C、C ,swift,ruby,groovy,D,等 声明式 SQL, 函数式: Haskell、F 、ML、Scala、lisp、l ...
分类:
编程语言 时间:
2019-11-24 13:26:13
阅读次数:
91
Bundled Examples Flink 不同的api详细例子 DataStream applications ( "Java" / "Scala" ) DataSet applications ( "Java" / "Scala" ) Table API / SQL queries ( "Ja ...
分类:
其他好文 时间:
2019-11-24 09:31:14
阅读次数:
73