目录RDD概述RDD实现RDD运行流程RDD分区RDD操作分类RDD编程接口说明一、RDD概述RDD：是Resilient distributed datasets的简称，中文为弹性分布式数据集;是Spark最核心的模块和类DAG:Spark将计算转换为一个有向无环图(DAG)的任务集合，通过为RD... ...
分类：
其他好文 时间：
2020-01-08 14:43:26
阅读次数：
102
目录包括运行流程图常用术语、执行原理、调度算法、容错及HA、监控 ...
分类：
其他好文 时间：
2020-01-08 14:11:33
阅读次数：
99
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统，接着由 Spark Streaming 消费 Kafka 中的消息，同时消费记录由 Zookeeper 集群统一管理，这样即使 Kaf ...
分类：
其他好文 时间：
2020-01-07 11:44:25
阅读次数：
100
1、基本组件栈 了解Spark的朋友会发现Flink的架构和Spark是非常类似的，在整个软件架构体系中，同样遵循着分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。 https://mmbiz.qpic.cn/mmbiz_png/mqibsuEhdU ...
分类：
其他好文 时间：
2020-01-06 22:31:20
阅读次数：
143
api差异参考官网地址：https://spark.apache.org/docs/2.1.1/sql-programming-guide.html#upgrading-from-spark-sql-16-to-20 1.SparkSession is now the new entry point ...
分类：
其他好文 时间：
2020-01-06 19:23:38
阅读次数：
87
想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - ...
分类：
其他好文 时间：
2020-01-05 16:01:59
阅读次数：
117
美团 R 语言数据运营实战 2018年08月02日 作者: 喻灿 刘强 文章链接 3689字 8分钟阅读 一、引言 近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益 ...
分类：
编程语言 时间：
2020-01-05 11:29:38
阅读次数：
115
一.官网位置1.位置2.解释官网位置DataSet1.6出现的SchemaRDD<1.31.3版本前叫SchemaRDD1.3以后叫DataFrameDataSet支持Scala,JAVA不支持pythonDataFrame支持四种JAVA,Scala.Python,RDataFrame:并不是sparksql独创的，原来就有的，从其他框架借鉴过来的二.DataFrame注意事项1.注意分布
分类：
数据库 时间：
2020-01-05 09:39:35
阅读次数：
76
使用kafka和sparkstreaming整合时，IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1"，初步看是版本不兼容，但是版本后面确认没有问题， ...
分类：
移动开发 时间：
2020-01-05 09:29:41
阅读次数：
291
引子有人在某个专注SQL的公众号留言如下：这个留言触碰到一个非常敏感的问题：搞关系型数据库还有前途吗？现在都2020年了，区块链正火热，AI人才已经“过剩”，大数据都成了稀松平常的萝卜白菜，你却还在搞SQLServer?你还在搞SQL?原因最近10年，数据管理领域的变化可谓精彩纷呈。什么Hadoop,Spark，MemcacheDB,Redis,Vertica,HANA,Cassandra,Mon
分类：
数据库 时间：
2020-01-04 16:59:14
阅读次数：
113
