概述： IoTDB 是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接 Hadoop 与 Spark 生态， 适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 安装环境： 1，安装前需要保证设备上配有JDK>=1.8的运行环境，并 ...
分类：
数据库 时间：
2020-05-14 19:32:44
阅读次数：
540
作为一个JVM进程，EXecutor的内存管理建立在JVM的内存管理之上，Spark对JVM的对内空间进行了更为详细的分配，以充分利用内存。同时，Spark引入了堆外内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化内存的使用。 堆内内存收到JVM统一管理，堆外内存是直接向操作系统进行内存 ...
分类：
其他好文 时间：
2020-05-13 23:30:58
阅读次数：
71
https://www.bilibili.com/video/av83930526/ https://blog.csdn.net/yuanbingze/article/details/51891222 ...
分类：
其他好文 时间：
2020-05-13 12:28:00
阅读次数：
56
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看：RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构 ...
分类：
其他好文 时间：
2020-05-12 17:13:48
阅读次数：
220
public static Map<String,String> loadDataFromFile() { Map<String,String> map = new ConcurrentHashMap<>(); try { File file = new File("filename.txt"); ...
分类：
其他好文 时间：
2020-05-12 11:45:24
阅读次数：
82
参考文章： https://blog.csdn.net/a1728351227/article/details/103638106 实现游戏的存读档有三个方式二进制方法XMLJSON对比二进制方法：简单，但可读性差。XML：可读性强，但是文件庞大，冗余信息多。JSON：数据格式比较简单，易于读写，但 ...
分类：
编程语言 时间：
2020-05-12 09:47:42
阅读次数：
234
Job的划分 1、Application : 应用，创建一个SparkContext可以认为创建了一个Application 2、Job 在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job 3、stage 阶段，每碰到一个shuffle算子，会产生一个新的 ...
分类：
其他好文 时间：
2020-05-11 23:56:54
阅读次数：
213
Spark性能优化指南——高级篇 2016年05月12日 作者: 李雪蕤 文章链接 23095字 47分钟阅读 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 ...
分类：
其他好文 时间：
2020-05-11 23:20:20
阅读次数：
91
上篇已经降到AppClient找Master进行注册，本章主要解析Master的原理和源码解析 1、Master的主备切换原理 package org.apache.spark.deploy.master completeRecovery，过滤没有响应的worker，app，drivers，从内存缓 ...
分类：
其他好文 时间：
2020-05-11 15:54:04
阅读次数：
62
.NET for Spark可用于处理成批数据、实时流、机器学习和ad-hoc查询。在这篇博客文章中，我们将探讨如何使用.NET for Spark执行一个非常流行的大数据任务，即日志分析。 1 什么是日志分析？ 日志分析的目标是从这些日志中获得有关工具或服务的活动和性能的有意义的见解。NET fo ...
分类：
Web程序 时间：
2020-05-11 09:13:31
阅读次数：
92
