本文主要对 Spark ML库下模型评估指标的讲解，以下代码均以 进行讲解，Spark版本为 。模型评估指标位于包 下。 模型评估指标是指测试集的评估指标，而不是训练集的评估指标 1、回归评估指标 RegressionEvaluator Evaluator for regression, which ...
分类：
其他好文 时间：
2020-03-03 22:38:09
阅读次数：
144
1、概述 决策树及树集（算法）是用于机器学习任务的分类和回归的流行方法。决策树被广泛使用，因为它们易于解释，处理分类特征，扩展到多类分类设置，不需要特征缩放，并且能够捕获非线性和特征交互。树集分类算法（例如随机森林和boosting）在分类和回归任务中表现最佳。 spark.ml实现使用连续和分类特 ...
分类：
其他好文 时间：
2020-03-03 17:46:25
阅读次数：
96
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
https://www.cs.cornell.edu/~srm/publications/EGSR07-btdf.pdf http://jbit.net/~sparky/academic/mm_brdf.pdf https://digibug.ugr.es/bitstream/handle/1048 ...
分类：
其他好文 时间：
2020-03-02 22:51:12
阅读次数：
102
初始化设置 1、描述 当FineBI在安装并启动后，会自动跳出FineBI数据决策系统平台网页，该平台用于一系列的数据准备、数据加工、可视化分析等操作。 2、首次访问决策系统 在安装启动FineBI服务器以后，跳出地址http://localhost:37799/webroot/decision，进 ...
分类：
其他好文 时间：
2020-03-02 15:04:19
阅读次数：
150
Partner的问题 Solution 在Cloud for Customer的Service Control Center里能看到C4C升级时间： Java应用程序入口： 输入一个文本文件，这个Java应用会利用Spark的大数据处理功能，迅速统计出这个文本文件里每个单词出现的次数，按从高到低排序 ...
分类：
移动开发 时间：
2020-03-01 14:07:27
阅读次数：
92
我的个人博客：https://www.luozhiyun.com/ 为什么需要Spark？ MapReduce的缺陷 第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。 第二，只提供Map和Reduce两个操作。 举个例子，两个数据集的Join是很基本而且常用的功能，但是 ...
分类：
其他好文 时间：
2020-03-01 12:46:39
阅读次数：
87
1、什么是Spark Spark是一种统一、快速、通用、可扩展的分布式大数据分析引擎。分布式体现在Spark一般情况是以集群模式存在，架构为Master/Slaver(主从结构)。大数据分析引擎体现在Spark能够分析数据，但是没有存储。一般线上的spark数据来源 （HDFS, Hive、Kafk ...
分类：
其他好文 时间：
2020-02-29 20:51:19
阅读次数：
74
静态数据：比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具) 流数据: 网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测， 这种需要实时的监控和处理(分析). 流数据的特性 推送的方式: 实时查询的结果 流计算应用 ...
分类：
其他好文 时间：
2020-02-29 20:39:25
阅读次数：
96
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快， 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类：
其他好文 时间：
2020-02-29 17:28:30
阅读次数：
94
