介绍ubuntu14.04下ftp服务器的搭建方法，让新手不必纠结于开发环境而阻碍学习ftp。...
分类：
系统相关 时间：
2015-05-25 18:54:42
阅读次数：
144
MRQL is a query processing and optimization system for large-scale, distributed data analysis, built on top of Apache Hadoop, Hama, Spark, and Flink....
分类：
Web程序 时间：
2015-05-25 16:47:38
阅读次数：
176
参考链接hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)http://www.aboutyun.com/thread-8178-1-1.htmlWin7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结http://ww...
分类：
其他好文 时间：
2015-05-25 12:56:34
阅读次数：
139
Intellij Idea下载地址：
官方下载
选择右下角的Community Edition版本下载安装即可本文中使用的是windows系统
环境为：
jdk1.6.0_45
scala2.10.5在网上下载jdk和scala的安装包双击运行安装即可注意：如果之后要将scala文件打包成jar包并在spark集群上运行的话，请确保spark集群和打包操作所在机器 环境保持一致！不然运行j...
分类：
其他好文 时间：
2015-05-25 10:11:16
阅读次数：
392
Text文本文件测试一个简单的person.txt文件内容为：JChubby,13
Looky,14
LL,15
分别是Name和Age在Idea中新建Object，原始代码如下：object TextFile{
def main(args:Array[String]){ }
}SparkSQL编程模型：第一步：
需要一个SQLContext对象，该对象是SparkSQL操作的入口...
分类：
数据库 时间：
2015-05-25 10:03:28
阅读次数：
216
==================== 废话 begin ============================最近老大让我为研发平台增加即时通讯功能。告诉我用comet 在web端实现即时通讯。最初狂搜集资料。不能让自己方向错了。这是很重要的。不过还是难免的周折了一番。测试了一个comet4....
分类：
其他好文 时间：
2015-05-23 19:56:59
阅读次数：
171
介绍ubuntu 12.04下搜狗输入法的安装，让新手有更好的编辑环境。...
分类：
系统相关 时间：
2015-05-23 18:27:45
阅读次数：
181
背景Apache Zeppelin提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。Mac OS上安装目前github上，zeppelin版...
分类：
Web程序 时间：
2015-05-23 16:57:28
阅读次数：
703
在编写Spark程序中，在map等算子内部由于使用了外部定义的变量和函数，从而导致出现Task未序列化问题，而由于Spark算子内部往往需要根据外部指定的配置进行计算，因此使用外部变量有时在所难免。为了解决Task序列化问题，这里对其进行了研究和总结。
出现“org.apache.spark.SparkException: Task not serializable”这个错误，一般...
分类：
其他好文 时间：
2015-05-23 16:55:37
阅读次数：
181
Druid和Spark对比不是Spark专家, 如果描绘有错误， 请通过邮件列表或者其他方式告知我们Spark实现弹性的分布式数据集概念的计算集群系统， 可以看做商业分析平台。 RDDs能复用持久化到内村中的数据， 从而为迭代算法提供更快的计算速度。 这对一些工作流例如机器学习格外有用, 有些操作需...
分类：
其他好文 时间：
2015-05-22 16:57:46
阅读次数：
230
