一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2019-11-26 09:35:53
阅读次数：
66
本文从实践出发，介绍如何在windows环境下搭建scala环境，让你可以使用Spark语言继续自己的大数据之旅，增添一点乐趣。同时指出大部分朋友在初次运行spark-shell会遇到的报错：ERROR Shell： Failed to locate the winutils binary in t... ...
2019-11-25 22:13:53 GitHub:https://github.com/elephantscale/HI-labs/tree/master/hadoop-admin 作者Github:https://github.com/markkerzner 作者Github:https:// ...
分类：
其他好文 时间：
2019-11-25 23:14:38
阅读次数：
70
官网：https://www.scala-lang.org/ Scala概述 Scala（发音为/?skɑ?l?, ?ske?l?/）是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序，Scala的编... ...
分类：
其他好文 时间：
2019-11-25 18:07:13
阅读次数：
60
Hadoop [翻译大象] 广义: 以apache hadoop软件为主的生态圈(hive sqoop spark flink....)狭义: apache hadoop软件 以后这些网站经常用到hadoop.apache.orghive.apache.orgspark.apache.org had ...
分类：
其他好文 时间：
2019-11-25 15:21:18
阅读次数：
134
将数据存储在Amazon S3中可带来很多好处，包括规模、可靠性、成本效率等方面。最重要的是，你可以利用Amazon EMR中的Apache Spark，Hive和Presto之类的开源工具来处理和分析数据。 尽管这些工具功能强大，但是在处理需要进行增量数据处理以及记录级别插入，更新和删除场景时，仍 ...
分类：
Web程序 时间：
2019-11-25 13:35:57
阅读次数：
166
Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下 ...
分类：
其他好文 时间：
2019-11-25 11:52:12
阅读次数：
62
基于上一步的代码和POM，flink1.8.0， scala 2.11.12 本地运行代码一直可以（pom中flink相关依赖的scope修改为compile） 打成jar包提交到本地local模式集群上运行一直报错，如下： org.apache.flink.client.program.Progr ...
分类：
Web程序 时间：
2019-11-25 09:19:47
阅读次数：
798
1.下载地址: http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7.tgz 上传虚拟机或服务器 2. 解压文件 tar -xzvf spark-3 ...
分类：
其他好文 时间：
2019-11-24 19:48:33
阅读次数：
144
Error:scalac: Multiple 'scala-library*.jar' files (scala-library.jar, scala-library.jar, scala-library.jar) in Scala compiler classpath in Scala SDK s ...
分类：
编程语言 时间：
2019-11-24 19:15:17
阅读次数：
88
