介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
1、安装 mariadb-install-db.exe mysqld install 2、修改utf8编码 [mysqld] default-storage-engine = innodb innodb_file_per_table max_connections = 4096 collation- ...
分类：
数据库 时间：
2020-09-17 19:21:40
阅读次数：
38
一.图像数据源 图像数据源用于从目录加载图像文件，它可以通过ImageIO Java库将压缩图像（jpeg，png等）加载为原始图像表示形式。加载的DataFrame具有一StructType列：“ image”，其中包含存储为图像架构的图像数据。该image列的架构为： origin ：（Stri ...
分类：
其他好文 时间：
2020-09-17 17:38:02
阅读次数：
52
以Sync（同步，同时）结尾的都是都是同步缓存，二者的区别是，异步不会阻塞当前任务，同步缓存直到同步方法处理完才能继续往下执行。 通俗点说,异步就是不管保没保存成功,程序都会继续往下执行.同步是等保存成功了,才会执行下面的代码. 使用异步,性能会更好;而使用同步,数据会更安全 一般都使用同步，异步是 ...
分类：
微信 时间：
2020-09-17 17:32:45
阅读次数：
43
一，引言 上一篇文章，我们介绍到在实际项目中系统会产生大量的日志文件，用户上传的头像等等，同时也介绍到可以使用Azure Blob Storage 来存储项目中的一些日志文件，用户头像，用户视频等等。这个时候，有人就会问到，那我大概明白Blob可以存放什么类型的数据了，这个时候就有人问一些问题了 1 ...
分类：
Web程序 时间：
2020-09-17 13:20:34
阅读次数：
32
SpringCloudFlow与ApacheSpark集成点击左上角，关注：“锅外的大佬”专注分享国外最新技术内容帮助每位开发者更优秀地成长1.简介SpringCloudDataFlow是用于构建数据集成和实时数据处理管道的工具包。在这种情况下，管道(Pipelines)是使用SpringCloudStream或SpringCloudTask框架构建的SpringBoot应用程序。在本教程中，我们
分类：
编程语言 时间：
2020-09-07 19:17:49
阅读次数：
55
org.apache.spark.scheduler.DAGScheduler#submitMissingTasks => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure out the indexes ...
分类：
其他好文 时间：
2020-08-28 14:42:00
阅读次数：
47
1、准备pvc也就是k8s容器的持久化存储 创建pv、pvc apiVersion: v1 kind: PersistentVolume metadata: name: pv-mysql-data namespace: db spec: capacity: storage: 5Gi accessMo ...
分类：
数据库 时间：
2020-08-28 14:34:48
阅读次数：
69
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
