问题描述： 在一段spark机器学习的程序中，同时用到了Filter算子和StringIndexer算子，其中StringIndexer在前，filter在后，并且filter是对stringindexer的输出列设置了过滤条件，filter算子之后将数据集灌到随机森林中（试过决策树分类和逻辑回归同 ...
分类：
其他好文 时间：
2019-11-05 13:16:49
阅读次数：
96
//1.准备环境val conf: SparkConf = new SparkConf().setAppName("_01SparkGraphx").setMaster("local[*]")val sc: SparkContext = new SparkContext(conf)sc.setLog ...
分类：
其他好文 时间：
2019-11-05 01:14:53
阅读次数：
102
本文是吴恩达 (Andrew Ng)老师《机器学习》课程，第一章《绪论：初识机器学习》中第3课时《监督学习》的视频原文字幕。为本人在视频学习过程中逐字逐句记录下来以便日后查阅使用。现分享给大家。如有错误，欢迎大家批评指正，在此表示诚挚地感谢！同时希望对大家的学习能有所帮助。 ...
分类：
其他好文 时间：
2019-11-04 15:58:09
阅读次数：
168
private[spark] class FairSchedulingAlgorithm extends SchedulingAlgorithm { override def comparator(s1: Schedulable, s2: Schedulable): Boolean = { val ... ...
分类：
编程语言 时间：
2019-11-04 15:39:14
阅读次数：
90
需要安装jdk 1、https://www.scala-lang.org/download/ 2、解压缩 ，配置环境变量 cd /usr/local/share tar -xzvf scala-2.13.1.tgz vi /etc/profile ...
分类：
其他好文 时间：
2019-11-04 11:21:45
阅读次数：
83
Lambda表达式 Java lambda表达式 是Java 8附带的一个非常令人兴奋的新功能。对于我们使用scala之类的高级语言工作的人来说，它们并不陌生。 事实上，如果你回顾一下过去20年的历史，试图找出Java语言的任何改进，你将无法回忆起许多令人兴奋的事情。在过去的十年中，Java中只有少 ...
分类：
其他好文 时间：
2019-11-03 23:30:58
阅读次数：
99
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
一、Scala环境基础Scala对Java相关的类，接口进行了包装，所以依赖Jvm环境。Jdk1.8scala依赖scala2.11安装版本idea2017.3开发工具二、配置Scala解压版1）注意路径无空格和中文2）配置环境变量添加到path目录%SCALA_HOME%\bin3）检测是否安装配置成功，没错就是这么简单。三、配置Idea开发1）插件安装，就是点点点2）新建两个maven项目在s
编译模板文件bigdata.template： Logstash配置文件 nginx.conf： Nginx的配置文件中关于日志格式的配置： 此处我只保留了需要的一个字段范围 产生的日志格式： 之后在Kibana里看到就是这样的： ...
分类：
Web程序 时间：
2019-11-01 16:39:13
阅读次数：
214
