Spark MLlib机器学习算法、源码及实战讲解pdf电子版下载 链接:https://pan.baidu.com/s/1ruX9inG5ttOe_5lhpK_LQg 提取码:idcb 《Spark MLlib机器学习:算法、源码及实战详解》书中讲解由浅入深慢慢深入,解析讲解了MLlib的底层原理 ...
分类:
编程语言 时间:
2019-12-29 18:11:23
阅读次数:
258
1.反射是什么? 比较官方点的解释 Java反射机制是在运行状态中 对于任意一个类,都能知道这个类的所以属性和方法; 对于任何一个对象,都能够调用它的任何一个方法和属性; 这样动态获取新的以及动态调用对象方法的功能就叫做反射 个人理解: 反射也是自己看了教程以后发现比较有趣的一个东西,此处写的是个人 ...
分类:
编程语言 时间:
2019-12-29 16:32:23
阅读次数:
85
概念 在我们写程序的时候,当遇到异常,整个程序就中断了,导致程序奔溃,这就会影响用户体验度,为了让程序在运行的的过程中不出现这种问题,当程序报错时候,我们把这种错误先自行处理了,让程序保持正常运行。 例如:一个求商的程序,除数是用户输入,那么用户输入的除数可能是千奇百怪的,可能是数字,也可能是字符, ...
分类:
编程语言 时间:
2019-12-29 13:09:57
阅读次数:
86
python2,python3两个kernel共存 引入:事情的起因是公司需要用pyspark,而将pyspark封装到jupyter中。而公司spark集群上都是py2的解释器。因此jupyter上运行时需要使用py2的kernel 环境:使用conda3自带的jupyter,已装py3解释器,非 ...
分类:
其他好文 时间:
2019-12-29 12:57:28
阅读次数:
73
简介 DataOutputStream是一个包装流,他可以将各种数据类型的数据再内部转称bytes字节,然后利用FileOutputStream写入文件中,DataInputStream读取文件内容的原理与之类似。 以下是一个使用DataOutputStream将对象写入文件,并且从文件中读取内容的 ...
分类:
编程语言 时间:
2019-12-29 11:20:29
阅读次数:
78
1.概念 ObjectOutputStream用于序列化 ObjectOutputStream用于反序列化 所谓的序列化,其实就是将对象转化为二进制 举个例子说明: 例如,我在京东上买了一张木床,京东发货的时候,肯定不会给我发一张已经拼接好的木床,因为这样不方便运输,那么快递公司会将床先拆开,然后附 ...
分类:
编程语言 时间:
2019-12-29 10:52:01
阅读次数:
82
下载Hadoop安装包 下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase、Spark等相关组件的兼 ...
分类:
其他好文 时间:
2019-12-28 23:14:30
阅读次数:
162
1. 获取spark下载链接 1. 获取spark下载链接 登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.e ...
分类:
其他好文 时间:
2019-12-28 22:50:51
阅读次数:
79
1. 获取安装包下载链接 1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致(运行spark-shell可以看到当前安装的scala版本) 2. 执行命令下载并安装 cd /usr/loca ...
分类:
其他好文 时间:
2019-12-28 22:47:01
阅读次数:
89
本文始发于个人公众号:TechFlow 近两年AI成了最火热领域的代名词,各大高校纷纷推出了人工智能专业。但其实,人工智能也好,还是前两年的深度学习或者是机器学习也罢,都离不开底层的数据支持。对于动辄数以TB记级别的数据,显然常规的数据库是满足不了要求的。今天,我们就来看看大数据时代的幕后英雄——H ...
分类:
其他好文 时间:
2019-12-28 22:38:52
阅读次数:
106