[TOC] 资料 "Spark机器学习库（MLlib）中文指南" "关于spark机器学习的知乎专栏" "Spark入门实战系列 8.Spark MLlib（上） 机器学习及SparkMLlib简介" "基本Kmeans算法介绍及其实现" [spark MLlib 概念 1：相关系数（ PPMCC ...
分类：
其他好文 时间：
2020-01-31 13:59:26
阅读次数：
104
本篇我们将使用Java语言来实现Flink的单词统计。代码开发环境准备导入Flink 1.9 pom依赖 org.apache.flink flink-java 1.9.0 org.apache.flink flink-streaming-j... ...
分类：
编程语言 时间：
2020-01-31 13:58:49
阅读次数：
154
今天主要研究了spark实验二的第一部分的Scala编写，看完代码后发现需要在REPL模式下运行，经过查证发现需要安装scala脚本，所以尝试在虚拟机中安装scala，成功后使用给的代码尝试运行，但是出错，提示没有找到类的定义，经过查证，发现是代码中缺少类得定义。改正后可以正常运行。 import ...
分类：
其他好文 时间：
2020-01-31 12:48:11
阅读次数：
93
在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把offset更新到zk中，默认会丢数据，效率低， ...
分类：
其他好文 时间：
2020-01-31 01:00:37
阅读次数：
82
今天完成了spark实验二，花费的时间太多，没由大到预期的计划。另外打包过程中下载时候遇到链接打不开404是不影响下载的，完成打包的学习。 下边是今天的实验。 2， 模拟图形绘制 对于一个图形绘制程序，用下面的层次对各种实体进行抽象。定义一个 Drawable 的特质，其包括一个 draw 方法，默 ...
分类：
其他好文 时间：
2020-01-30 23:15:16
阅读次数：
95
Spark安装 参照教程安装Spark 和 Scala 参考链接：http://dblab.xmu.edu.cn/blog/1307-2/ 环境：Linux 已安装Hadoop spark官方下载地址：http://spark.apache.org/downloads.html 参照图中内容下载sp ...
分类：
其他好文 时间：
2020-01-30 23:07:30
阅读次数：
70
一、实验目的 （1）通过实验掌握基本的 MLLib 编程方法； （2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和 预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本 Spark 版本：2.1.0 数据集：下载 Adult 数 ...
分类：
其他好文 时间：
2020-01-29 23:28:10
阅读次数：
134
今日把之前用sbt打包Scala程序剩下的东西学习完了，在学习使用maven打包java程序中遇到了初次打包下载依赖包下载不了，目标网址404的问题，留在明天解决。 安装了scala进行了相关的实验。 明日计划学习使用Eclipse编写Spark应用程序（Scala+Maven）和（Scala+SB ...
分类：
其他好文 时间：
2020-01-29 23:12:50
阅读次数：
89
spark 1. Spark的四大特性 1. 速度快 spark比mapreduce快的两个原因 1. 基于内存 2. 进程与线程 2. 易用性 1. 可以用java、scala、python、R等不同的语言来快速编写spark程序 3. 通用性 4. 兼容性 1. spark程序有多种运行模式 s ...
分类：
其他好文 时间：
2020-01-29 10:40:55
阅读次数：
58
今天把Scala的Java独立应用编程解决了，安装了maven，并且测试了一下Java应用程序代码，以及用maven打包 Java程序，并通过spark-submit 运行程序，过程比较顺利，但是在安装sbt时验 sbt 是否可用，需要下载依赖包，但是我的一直 卡在这里 重新弄会出错，所以先弄了一下 ...
分类：
其他好文 时间：
2020-01-29 00:58:27
阅读次数：
80
