本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的，公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手，对比现有计算框架和业界正在开展的项目，分析分析这件事的表面和背后深层的含义，以及可想象空间。...
分类：
其他好文 时间：
2014-09-26 19:59:38
阅读次数：
220
第五步：测试Spark IDE开发环境 此时我们直接选择SparkPi并运行的话会出现如下错误提示： 从提示中可以看出是找不到Spark程序运行的Master机器。 此时需要配置SparkPi的执行环境： 选择“Edit Configurations”进...
分类：
其他好文 时间：
2014-09-26 13:32:19
阅读次数：
173
第四步：通过Spark的IDE搭建并测试Spark开发环境Step1：导入Spark-hadoop对应的包，次选择“File”–>“ProjectStructure”–>“Libraries”，选择“+”，将spark-hadoop对应的包导入:点击“OK”确认：点击“OK”:IDEA工作完成后会发现Spark的jar包导入到了我们的工程中..
分类：
其他好文 时间：
2014-09-26 01:10:28
阅读次数：
365
Spark SQL缓存到内存中的数据的存储策略...
分类：
数据库 时间：
2014-09-25 20:24:38
阅读次数：
358
第四步：通过Spark的IDE搭建并测试Spark开发环境Step 1：导入Spark-hadoop对应的包，次选择“File”–> “Project Structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入:点击“OK”确认：点击“OK”:IDEA工...
分类：
其他好文 时间：
2014-09-25 16:21:19
阅读次数：
169
第四步：通过Spark的IDE搭建并测试Spark开发环境 ? Step 1：导入Spark-hadoop对应的包，次选择“File”–> “Project Structure” –> “Libraries”，选择“+”，将spark-hadoop 对应的包导入: 点击“OK”确认：...
分类：
其他好文 时间：
2014-09-25 16:08:29
阅读次数：
155
应用程序根标记3个命名空间：fx=核心，s=spark,mx=halo,可自定义注释：,自动补全：alt+/组件{布局：宽、高可不填，100%保证铺满缩放 {控件：放在布局内文本连续输出：lable.text+="hello\n"单击处理函数click=" ”直接处理或调用函数eventAS3代码....
分类：
其他好文 时间：
2014-09-25 12:29:38
阅读次数：
225
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第13期互动问答分享】Q1：tachyon+spark框架现在有很多大公司在使用吧?Yahoo!已经在长期大规模使用；国内也有公司在使用；Q2：impala和sparksql如何选择呢？Impala已经被官方宣布“安乐死”，被官方温柔的放弃；Spark..
分类：
其他好文 时间：
2014-09-24 13:32:07
阅读次数：
244
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第13期互动问答分享】 ? Q1：tachyon+spark框架现在有很多大公司在使用吧? ????????Yahoo!已经在长期大规模使用； ????????国内也有...
分类：
其他好文 时间：
2014-09-24 13:22:47
阅读次数：
192
点击确认后出现如下视图：点击“Restart”重新启动：再次运行我们的第一个Scala程序：发现我们完全使用了新的背景，同时正确运行了程序，与第一次运行相比，速度快了很多。
分类：
其他好文 时间：
2014-09-24 12:59:57
阅读次数：
178
