org.apache.spark.scheduler.DAGScheduler#submitMissingTasks => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure out the indexes ...
分类：
其他好文 时间：
2020-08-28 14:42:00
阅读次数：
47
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
1.前提概要2020年6月25日SpringFramework团队发布博客宣布SpringFramework最新的里程碑版本SpringFramework5.3M1发布。虽然这只是一个里程碑版本，但是却至关重要。从官方的说明中我们可以获取关于SpringFramework未来的路线图。今天就带大家简单解读一波。2.Spring5.3是5系列的最终发行版SpringFramework5.3.xSpr
分类：
编程语言 时间：
2020-08-24 16:48:52
阅读次数：
88
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
# Scala知识点总结 1. 什么是Scala Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。 2. Scala 的特点 1）多范式的编程语言,支持面向对象和函数式编程。 2) 可以调用现有的Java类库，实现两种语言的无缝对接 ...
分类：
其他好文 时间：
2020-08-20 19:08:03
阅读次数：
65
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 ...
分类：
其他好文 时间：
2020-08-13 12:07:11
阅读次数：
88
1.定义 RDD是只读的记录分区的集合，是一种基于工作集的应用抽象 创建RDD的方式有两种： 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上，对于每个Executor都会启动一个BlockManagerSlave，并且管理一部分B ...
分类：
其他好文 时间：
2020-08-08 00:33:32
阅读次数：
73
Java8引入Lambda表达式，允许开发者将函数当成参数传递给某个方法，或者把代码本身当作数据进行处理。使用Lambda表达式，使得应用变得简洁而紧凑。很多语言（Groovy、Scala等）从设计之初就支持Lambda表达式。但是java中使用的是匿名内部类代替。最后借助强大的社区力量，找了一个折中的Lambda实现方案，可以实现简洁而紧凑的语言结构。一、匿名内部类到Lambda的演化匿名内部类
分类：
编程语言 时间：
2020-08-07 21:48:00
阅读次数：
81
一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
