之前学习了通过Openfire+spark+smack的模式来完成我们的即时通讯软件，上次我们已经完成了Openfire的安装和配置，这次我们继续完成我们的客户端部分。
分类：
系统相关 时间：
2015-03-09 15:46:28
阅读次数：
250
/**LicensedtotheApacheSoftwareFoundation(ASF)underoneormore*contributorlicenseagreements.SeetheNOTICEfiledistributedwith*thisworkforadditionalinformationregardingcopyrightownership.*TheASFlicensesthisfiletoYouundertheApacheLicense,Version2.0*(the"License");..
分类：
其他好文 时间：
2015-03-09 01:49:40
阅读次数：
390
Spark运行过程中资源的申请和释放一直是源码分析时需要关注的重点，从资源种类上来说，有CPU、内存、网络、磁盘，其中前三者会在进程退出时由OS来负责释放。而占用的磁盘资源，如果Spark自身不及时的清理，就势必会造成文件的堆积，直至磁盘被占满不可用。 因此有必要弄清楚Spark运行过程中产生的临时...
分类：
Web程序 时间：
2015-03-08 21:21:50
阅读次数：
355
默认已经安装了jdk和scala
下面说一下spark的eclispe的集成开发环境的搭建
eclipse4.2
update-site.zip
spark-1.0.2-bin-hadoop2.tgz
解压spark-1.0.2-bin-hadoop2.tgz，得到lib文件夹下的jar包spark-assembly-1.1.1-hadoop2.3.0.jar
下面开始进行配置
打开e...
分类：
其他好文 时间：
2015-03-07 21:22:05
阅读次数：
257
本文目的 最近在使用Spark进行数据清理的相关工作，初次使用Spark时，遇到了一些挑（da）战（ken）。感觉需要记录点什么，才对得起自己。下面的内容主要是关于Spark核心—RDD的相关的使用经验和原理介绍，作为个人备忘，也希望对读者有用。 为什么选择Spark 原因如下 代码复用：使用Sca...
分类：
其他好文 时间：
2015-03-07 21:09:45
阅读次数：
281
做个笔记，记录streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参数检查然后启动jobschedulerStreamingContext.scaladefstart():Unit=synchronized..
分类：
其他好文 时间：
2015-03-06 19:18:24
阅读次数：
322
设置IDEA的auto import 之后，编写Spark应用程序时的一些自动导入情况及其说明。
1.普通类的自动导入
var cnames = new ArrayBuffer[String]()
var ips = new ArrayBuffer[String]()直接根据提示alt+enter便可以导入ArrayBuffer类包
2.需要隐式转换
val joinRDD = r...
分类：
其他好文 时间：
2015-03-05 23:46:21
阅读次数：
712
ALS矩阵分解推荐模型
其实通过模型来预测一个user对一个item的评分，思想类似线性回归做预测，大致如下
定义一个预测模型（数学公式），
然后确定一个损失函数，
将已有数据作为训练集，
不断迭代来最小化损失函数的值，
最终确定参数，把参数套到预测模型中做预测。
矩阵分解的预测模型是：
损失函数是：
我们就是要最小化损失函数，从而求得参...
分类：
其他好文 时间：
2015-03-05 22:24:01
阅读次数：
545
相关类：MapOutputTrackerMessage，GetMapOutputStatuses extends MapPutputTrackerMessage，StopMapOutputTracker extends MapOutputTrackerMessage，MapOutputTracker...
分类：
其他好文 时间：
2015-03-05 21:00:56
阅读次数：
223
来自 Gitbook上的“Spark访问HDFS”
http://chenzhongpu.gitbooks.io/bigdatanotes/content/SparkAccessHDFS/README.html
该书是关于大数据读书笔记的，目前在Gitbook上持续更新 。 Github地址:https://github.com/ChenZhongPu/BigDataGi...
分类：
其他好文 时间：
2015-03-05 20:59:02
阅读次数：
119
