[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
因为Spark的缘故，我们来看看另外一门语言——Scala，为什么要看这门语言呢？唉~其实你不看也没关系，只不过spark的内核就是用Scala写的，spark也提供其他语言的编程模型....看自己爱好啦~
1、下载
地址：http://www.scala-lang.org/download/2.11.1.html
下载安装即可，这没什么好说的，如果不会，那我建议你也不要做开发了，回家...
分类：
系统相关 时间：
2014-07-16 17:36:24
阅读次数：
263
Catalyst定位
其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。
对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模型，具体物理算子的执行都由系统自己实现。
Catalyst现状
在解析器方面提供的是一个简单的scala...
分类：
数据库 时间：
2014-07-16 17:34:38
阅读次数：
391
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
定制spark让sql更简单，上个版本的start.scala用的是HiveContext，这个是SQLContext的，不需编译。...
分类：
数据库 时间：
2014-07-13 20:44:21
阅读次数：
330
新一代<組合創新>架構師從初學到認證學習地圖第1步：自行(免費)學習線上課程，包括：課程-1.(3.5小時)需求碎片化时代，从编程到设计的心灵鸡汤(上集)需求碎片化时代，从编程到设计的心灵鸡汤(下集)課程-2.(4小時)需求碎片化时代_让碎片没钱就改版_改版就有钱參考書籍：?.
分类：
其他好文 时间：
2014-07-13 14:59:15
阅读次数：
189
Android底层框架解析与Java&C/C++软硬整合开发技术主讲人：高焕堂(台湾Android教父级专家)课程简介：在智能&大数据时代，系统开发不仅仅攸关软件设计与开发，还涉及深度软硬整合的智能硬件设计与开发。在当今产业的成功方程式：(((硬件+软件)+内容)+电信)潮流下，如何..
分类：
移动开发 时间：
2014-07-12 16:44:53
阅读次数：
465
通常，一个类对应一个伴生对象，其方法就跟Java中的静态方法一样，举例：BigInt类的BigInt伴生对象有一个生成指定位数的随机素数的方法probablePrime，在REPL中运行下列代码：
object HelloWorld{
def main(args:Array[String]){
for( i
println(BigInt.probab...
分类：
其他好文 时间：
2014-07-11 00:58:23
阅读次数：
286
Scala二十四点游戏(1):表达式计算(一)Scala二十四点游戏(2):表达式计算(二)Scala二十四点游戏(3):表达式计算(三)Scala二十四点游戏(4):算法之一Scala二十四点游戏(5):List简介Scala二十四点游戏(6):实现全排列Scala二十四点游戏(7):穷举可能的表达式Scala二十四点游戏(8): 计算24的算法Scala二十四点游戏(9): 完整的代码和计算结...
分类：
其他好文 时间：
2014-07-08 20:33:44
阅读次数：
218
