本课程针对企业不同数据规模技术方案进行讲解,紧贴企业热门需求,深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等;课程针对知识点进行企业级案例式教学,理论结合实战,从0到1构建大数据生态技术的方方面面,内容涵盖大数据平台、Spark、Flink、OLAP等核心技术;用 ...
分类:
其他好文 时间:
2020-06-22 18:50:44
阅读次数:
295
作者 | 陈洁、高相林 业界要闻 Kubernetes 文档增加反种族歧视声明 所有 Kubernetes 相关的文档统一加上了反种族歧视的声明 Header,以表达社区坚决反对种族歧视的立场。此外,golang/kubernetes 均已将代码中的 whitelist/blacklist,mast ...
分类:
其他好文 时间:
2020-06-22 12:56:57
阅读次数:
46
数据来源层 数据库 日志 视频,ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka(存储少量数据) 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类:
其他好文 时间:
2020-06-22 00:56:04
阅读次数:
83
Hadoop 分布式系统基础结构 海量数据存储,海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache:最基础 Cloudera:大型互联网企业 Horto ...
分类:
其他好文 时间:
2020-06-21 23:10:42
阅读次数:
63
? 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据,都不好意思说自己是在IT圈混的。我敢打赌,你在中关村西二旗地铁站溜一圈,保准你会听到如下名词:Had ...
分类:
其他好文 时间:
2020-06-20 23:54:38
阅读次数:
100
1. 概述 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构 ...
分类:
数据库 时间:
2020-06-19 21:00:44
阅读次数:
62
第一阶段:分布式协调组件第一单元掌握ZooKeeper的核心设计ZooKeeper生态体系结构ZooKeeper总体架构设计ZooKeeper读写请求流程深度剖析第二单元掌握ZooKeeper服务端源码流程ZooKeeper启动流程源码深度剖析Master选举算法源码深度剖析服务端通信模型源码深度剖析第三单元掌握ZooKeeper客户端源码流程客户端启动流程源码剖析客户端通信模型源码剖析Sessi
分类:
其他好文 时间:
2020-06-19 10:23:42
阅读次数:
63
第一阶段:分布式协调组件 第一单元 掌握ZooKeeper的核心设计 1. ZooKeeper生态体系结构 2. ZooKeeper总体架构设计 3. ZooKeeper读写请求流程深度剖析 第二单元 掌握ZooKeeper服务端源码流程 1. ZooKeeper启动流程源码深度剖析 2. Mast ...
分类:
其他好文 时间:
2020-06-18 19:12:13
阅读次数:
112
1:第一个springboot项目 使用eclipse和gradle构建第一个springboot项目。 1环境搭建 Java生态体系中有三大构建工具:Ant、Maven和Gradle。Ant几乎销声匿迹,Maven由于较为不灵活的配置也渐渐被遗忘,而由于Gradle是基于Ant和Maven的一个优 ...
分类:
编程语言 时间:
2020-06-17 10:55:03
阅读次数:
52