Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2
http://blog.csdn.net/sunbow0/
第一章Neural Net(神经网络)
2基础及源码解析
2.1 Neural Net神经网络基础知识
2.1.1 神经网络
基础知识参照：
http://deeplearning.stanford.edu/wiki...
分类：
Web程序 时间：
2015-05-28 21:41:29
阅读次数：
1193
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1
http://blog.csdn.net/sunbow0/
Spark MLlib Deep Learning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体Spark MLlib Deep Learning(深度学习)目录结构：
第一章Ne...
分类：
Web程序 时间：
2015-05-28 21:40:22
阅读次数：
338
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3
http://blog.csdn.net/sunbow0/
第一章Neural Net(神经网络)
3实例
3.1 测试数据
3.1.1 测试函数
采用智能优化算法的经典测试函数，如下：
（1）Sphere Model
函数表达式
搜索范围
...
分类：
Web程序 时间：
2015-05-28 21:38:38
阅读次数：
802
1.Spark1.0.0 应用程序部署工具spark-submit2.Spark Streaming的编程模型3.使用java api操作HDFS文件4.用SBT编译Spark的WordCount程序5.在Spark上运行TopK程序6.在Spark上运行WordCount程序7.Spark一个简单...
分类：
其他好文 时间：
2015-05-28 21:21:46
阅读次数：
198
本文目的 当前spark（1.3版）随机森林实现，没有包括OOB错误评估和变量权重计算。而这两个功能在实际工作中比较常用。OOB错误评估可以代替交叉检验，评估模型整体结果，避免交叉检验带来的计算开销。现在的数据集，变量动辄成百上千，变量权重有助于变量过滤，去掉无用变量，提高计算效率，同时也可以帮助理...
分类：
其他好文 时间：
2015-05-28 21:12:19
阅读次数：
276
本文发表于2012年。提出了一种称为离散化数据流(Discretized Streams,D-Streams)的编程模型。该模型提供了一种高级函数式API，具有高度的一致性和强大的容错能力。基于Spark分布式计算框架，进行扩展实现了一个D-Stream的原型，称为Spark Streaming。
分类：
其他好文 时间：
2015-05-28 19:51:10
阅读次数：
522
一、本文的目的 Straggler是目前研究的热点，Spark中也存在Straggler的问题。GC问题是总所周知的导致Straggler的重要因素之一，为了了解GC导致的Straggler问题，首先需要学习GC问题以及如何监控Spark的GC。GC问题的讨论比较多了，推荐一篇系列文章用于学习：成....
分类：
编程语言 时间：
2015-05-28 19:43:30
阅读次数：
262
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以..
分类：
Web程序 时间：
2015-05-28 18:21:38
阅读次数：
327
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
Scala构建工具（SBT）的使用SBT介绍SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。
虽然Maven同样可以管理Scala项目的依赖并进行构建，但SBT的某些特性却让人如此着迷，比如：
使用Scala作为DSL来定义build文件（one language...
分类：
其他好文 时间：
2015-05-28 18:12:15
阅读次数：
148
