大数据仓库集锦

时间：2018-10-17 18:32:26 阅读：167 评论：0 收藏：0 [点我收藏+]

大数据目前的主要趋势（自己理解）

文件系统、部署、各种流和开源工具-------ETL开发（BI项目）----数据统计分析------数据挖掘、机器学习

图片来自浅析

一、关于kakfa kafka相关

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Storm，Spark，Flink都支持与Kafka集成。现在我们的数据实时处理平台也使用到了kafka。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。

二、spark Spark 以及 spark streaming 核心原理及实践

三、Sqoop sqoop 学习

将导入或导出命令翻译成 MapReduce 程序来实现在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制.

四、FLume （博客）

五、hive与hbase的区别

大数据仓库集锦

标签：开源工具统计相关数据管道 article spl map bsp app

原文地址：https://www.cnblogs.com/shizhenqiang/p/9805933.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行