import kafka.common.TopicAndPartition import kafka.utils.ZkUtils import org.I0Itec.zkclient.ZkClient import org.apache.spark.rdd.RDD import org.apache... ...
分类：
其他好文 时间：
2017-11-29 17:04:13
阅读次数：
1064
2011-12-07 11:44 JS判断只能是数字和小数点 0.不能输入中文1）<input onpaste="return false;" type="text" name="textfield" style="width:400px; ime-mode:disabled" value="">2 ...
分类：
Web程序 时间：
2017-11-25 20:49:37
阅读次数：
243
Textbox Drag/Drop in WPFhttp://www.codeproject.com/Articles/42696/Textbox-Drag-Drop-in-WPF.aspxOdyssey RibbonBarhttp://www.codeproject.com/KB/WPF/Odys ...
package com.XXX import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkContext} //spark中的RDD测试 object RddTest { def mai... ...
上篇文章介绍了推荐引擎算法在spark-shell中的操作，实际环境中我们不会仅仅运行一次， 更多的是一次编译多次运行，今天我们开始实验二，不过上次实验的笔录很有用哦。 一，处理数据。 def PrepareData(): (RDD[Rating], Map[Int, String]) = { va ...
分类：
编程语言 时间：
2017-11-21 01:03:46
阅读次数：
219
之前分析了spark任务提交以及计算的流程，本文将分析在计算过程中数据的读写过程。我们知道：spark抽象出了RDD，在物理上RDD通常由多个Partition组成，一个partition对应一个block。在driver和每个executor端，都有一个Blockmanager。Blockmana ...
分类：
其他好文 时间：
2017-11-20 21:56:26
阅读次数：
248
1：Spark ML与Spark MLLIB区别？ Spark MLlib是面向RDD数据抽象的编程工具类库，现在已经逐渐不再被Spark团队支持，逐渐转向Spark ML库，Spark ML是面向DataFrame编程的。 2：Spark ML与Spark MLLIB中矩阵、向量定义区别？ 这两个 ...
分类：
其他好文 时间：
2017-11-19 12:35:30
阅读次数：
182
创建ListintRDD = sc.parallelize(List(1,2,3,4,5))过滤包含stringRDD.filter(_.contains("a")).collect()去重stringRDD.distinct.collect()RDD拆分val sRDD = intRDD.rand ...
分类：
其他好文 时间：
2017-11-19 02:07:19
阅读次数：
159
1. 设置obj与src 一般目标输出到源代码目录下，因此执行完上面的代码后，src和obj都为空。 2.设置编译选项 主要是设置以下三个编译选项 2.1 $(ARCH)=arm，所以包含的文件是arm_config.mk，架构相关的编译选项。 arm_config.mk只有一行，内容如下 2.2 ...
分类：
其他好文 时间：
2017-11-11 23:53:14
阅读次数：
415
Note that, before Spark 2.0, the main programming interface of Spark was the Resilient Distributed Dataset (RDD). After Spark 2.0, RDDs are replaced b ...
分类：
其他好文 时间：
2017-11-09 18:43:50
阅读次数：
168
