大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
转自：http://www.oschina.net/news/26241/you-can-not-change-git-history有时候使用Git工作得小心翼翼，特别是涉及到一些高级操作，例如 reset, rebase 和 merge。甚至一些很小的操作，例如删除一个分支，我都担心数据丢失。不...
分类：
其他好文 时间：
2014-07-19 20:14:37
阅读次数：
204
(¦3[____]← 扫描线问题，抛物线方程为 y=a*x*x 形式，对每个点求出抛物线中轴的范围theta-delta~theta+delta，theta = atan2(y,x)，delta则用方程组可解x*x+y*y=z*z+(a*z*z)^2，tan(theta)=z/(a*z*z)，故th...
分类：
其他好文 时间：
2014-07-16 19:21:57
阅读次数：
191
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
源码编译我的测试环境：系统：Centos 6.4 - 64位Java：1.7.45Scala：2.10.4Hadoop：2.2.0Spark 1.0.0源码地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz解压源码，在根去根目录下执行以下命...
分类：
其他好文 时间：
2014-07-16 18:01:44
阅读次数：
405
因为Spark的缘故，我们来看看另外一门语言——Scala，为什么要看这门语言呢？唉~其实你不看也没关系，只不过spark的内核就是用Scala写的，spark也提供其他语言的编程模型....看自己爱好啦~
1、下载
地址：http://www.scala-lang.org/download/2.11.1.html
下载安装即可，这没什么好说的，如果不会，那我建议你也不要做开发了，回家...
分类：
系统相关 时间：
2014-07-16 17:36:24
阅读次数：
263
Catalyst定位
其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。
对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模型，具体物理算子的执行都由系统自己实现。
Catalyst现状
在解析器方面提供的是一个简单的scala...
分类：
数据库 时间：
2014-07-16 17:34:38
阅读次数：
391
前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析.spark官网: http://spark.apache.org/downloads.html*)安装....
分类：
其他好文 时间：
2014-07-16 16:56:22
阅读次数：
235
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
uva111:http://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&category=24&page=show_problem&problem=47题意：看懂之后就是求两个串的最长公共子串。题解：不过这里要注意一下，...
分类：
其他好文 时间：
2014-07-16 16:05:53
阅读次数：
213
