基于SparkMLlib平台的协同过滤算法---电影推荐系统又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用。说到推荐系统，大家可能立马会想到协同过滤算法。本文基于SparkMLlib平台实现一个向用户推荐电影的简单..
分类：
编程语言 时间：
2015-06-16 01:27:03
阅读次数：
44881
Scala的一个强项在于可以很简单的于已有的Java代码交互，所有java.lang中的类都已经被自动导入了，而其他的类需要显式声明导入。
来看看演示代码吧。我们希望对日期进行格式化处理，比如说用法国的格式。
Java类库定义了一系列很有用的类，比如Date和DateFormat。由于Scala于Java能够进行很好的交互，我们不需要在Scala类库中实现等效的代码，而只需直接吧Java的相关...
分类：
编程语言 时间：
2015-06-15 18:43:25
阅读次数：
115
一、partition的划分问题 如何划分partition对block数据的收集有很大影响。如果需要根据block来加速task的执行，partition应该满足什么条件？参考思路1：range partition1、出处： IBM DB2 BLU；Google PowerDrill；Shar.....
分类：
其他好文 时间：
2015-06-15 09:04:27
阅读次数：
3161
http://spark.apache.org/docs/1.2.1/streaming-programming-guide.html在SparkStreaming中如何对数据进行分片Level of Parallelism in Data ProcessingCluster resources c...
分类：
其他好文 时间：
2015-06-14 22:43:24
阅读次数：
211
一、环境说明Mac OSX 10.10.3 Java 1.7.0_71Spark 1.4.0二、编译安装tar -zxvf spark-1.4.0.tgzcd spark-1.4.0./sbt/sbt assemblyps：如果之前执行过编译，需要执行./sbt/sbt clean清理后才能重新编....
分类：
其他好文 时间：
2015-06-14 12:17:06
阅读次数：
202
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要...
分类：
其他好文 时间：
2015-06-14 09:38:28
阅读次数：
219
1、搭建服务器 - 安装顺序 - (mysql->openfire->spark)数据库：mysql服务器管理工具： openfire测试工具： sparkmysql 安装 http://www.cnblogs.com/xiaodao/archive/2013/04/04/2999426.html注...
分类：
移动开发 时间：
2015-06-13 15:36:11
阅读次数：
159
参考：https://spark.apache.org/docs/latest/sql-programming-guide.html#overview http://www.csdn.net/article/2015-04-03/2824407Spark SQL is a Spark module....
分类：
数据库 时间：
2015-06-12 13:14:06
阅读次数：
130
SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true? spark.eventLog.dir hdfs://master:8020/var/log/spark? spark.eventLog.compress true spark-env.sh 增加如下内容 expo...
分类：
其他好文 时间：
2015-06-11 19:38:55
阅读次数：
180
SPARK_HOME/conf 下:spark-defaults.conf 增加如下内容spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress truespark-env.sh 增加如下内容export SPARK_HISTORY_OPTS=”-...
分类：
其他好文 时间：
2015-06-11 19:30:53
阅读次数：
147
