前几天写了一篇jsp页面利用ajaxFileUpload上传文件，现在把flex上传页面也分享出来：
前台页面
http://ns.adobe.com/mxml/2009"
xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" creationCompl...
分类：
Web程序 时间：
2015-06-10 17:23:30
阅读次数：
141
本文是Spark调研笔记的最后一篇，以代码实例说明如何借助Spark平台高效地实现推荐系统CF算法中的物品相似度计算。
在推荐系统中，最经典的推荐算法无疑是协同过滤（Collaborative Filtering, CF），而item-cf又是CF算法中一个实现简单且效果不错的算法。
在item-cf算法中，最关键的步骤是计算物品之间的相似度。本文以代码实例来说明如何利用Spark平台快速计算...
分类：
其他好文 时间：
2015-06-10 15:47:17
阅读次数：
155
本文主要记录我使用Spark以来遇到的一些典型问题及其解决办法，希望对遇到同样问题的同学们有所帮助。
1. Spark环境或配置相关
Q: Spark客户端配置文件spark-defaults.conf中，spark.executor.memory和spark.cores.max应该如何合理配置？
A: 配置前，需要对spark集群中每个节点机器的core和memory的配置有基本了解。比如...
分类：
其他好文 时间：
2015-06-10 12:21:16
阅读次数：
189
最近打算学习hadoop和spark，需要安装java运行环境，我用的系统是CentOS。
一、安装jdk
1.进入usr目录cd /usr2.在usr目录下建立java安装目录mkdir java3.将jdk-8u45-linux-x64.rpm拷贝到java目录下cp /root/hadoop_home /usr/java/4.安装jdkcd /usr/javarpm -ivh jdk-8u...
分类：
编程语言 时间：
2015-06-09 22:03:33
阅读次数：
176
spark一些入门资料
A Scala Tutorial for Java Programmers
http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html
学习资源（视频教程，书，例子等）
spark.apache.org/documentation.html
入门指南
s...
分类：
其他好文 时间：
2015-06-09 20:03:19
阅读次数：
162
原文链接什么是SparkApache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，...
分类：
其他好文 时间：
2015-06-09 19:39:32
阅读次数：
130
为了用spark，先学下scala。参考教程：http://meetfp.com/zh/scala-basic在线编译：http://meetfp.com/tryout其它资料：http://scalachina.com/node/16 http://blog.csdn.net/mapdi...
分类：
其他好文 时间：
2015-06-09 16:33:13
阅读次数：
123
由于Spark是用Scala实现的，所以Spark天生支持Scala API，此外，还支持Java和Python API。以Spark 1.3版本的Python API为例，其模块层级关系如下图所示：
从上图可知，pyspark是Python API的顶层package，它包含了几个重要的subpackages，其中：
1) pyspark.SparkContext
它抽象了指向sp...
Storm风暴和Spark Streaming都是分布式流处理的开源框架。区别如下：
1、处理延时和吞吐量
Storm处理的是每次传入的一个事件，Spark Streaming是处理某个时间段窗口内的事件流，Storm处理一个事件可以达到秒内的延迟，而Spark Streaming则有几秒钟的延迟。因此，Spark Streaming比Storm的延时更长，但是吞吐量比Storm大。
...
分类：
其他好文 时间：
2015-06-08 23:25:42
阅读次数：
188
其实，有两个名为PySpark的概念，一个是指Spark客户端内置的pyspark脚本，而另一个是指Spark Python API中的名为pyspark的package。
本文只对第1个pyspark概念做介绍。
1. Spark客户端内置的pyspark"命令"
Spark客户端支持交互模式以方便应用调试，通过调用pyspark可以进入交互环境：
cd /path/to/spark...
分类：
其他好文 时间：
2015-06-08 19:34:28
阅读次数：
283
