为了可以用Eclipse编译基于Scala的Spark Project，需要安装sbt环境：OS X Yosemite 10.10.31.安装Xcode因为要在终端用macports安装sbt，而Xcode是macports安装的前提，所以要先去APPstore下载Xcode，并安装其command...
分类：
系统相关 时间：
2015-07-08 12:47:16
阅读次数：
2002
Hadoop：
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类结果进行归并计算；
由于Hadoop的中间结果需要依托于hdfs，从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差；
Hadoop主要处理hdfs上的文本文件，而文本文件内容本...
分类：
其他好文 时间：
2015-07-07 19:27:46
阅读次数：
294
1.安装sbt正常安装流程。在cmd里运行的时候，要提前设置代理（如果上网有代理），set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172.17.18.84 -Dhttp.proxyPort=8080。这样sbt就可以联网下载了，否则后续的安装...
分类：
其他好文 时间：
2015-07-07 18:34:36
阅读次数：
121
java： private 类内访问 【空】 包内访问 protected 子类或包内访问 public 都可以访问scala：private 类内访问 private[spark] 指定的包【spark】内可以访问 protecte...
分类：
编程语言 时间：
2015-07-07 16:32:08
阅读次数：
151
在spark_shell创建SQLContext导入对象后sqlContext时间，例如，下面的例外：找个理由sqlContext必须是val类型。后引入到正常的变化。 版权声明：本文博客原创文章，博客，未经同意，不得转载。 ...
分类：
数据库 时间：
2015-07-07 12:43:52
阅读次数：
281
Tachyon是Spark生态系统内快速崛起的一个新项目。 本质上， Tachyon是个分布式的内存文件系统， 它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出...
分类：
其他好文 时间：
2015-07-07 11:14:48
阅读次数：
177
Spark学习笔记Spark简介spark可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。S....
分类：
其他好文 时间：
2015-07-06 19:34:52
阅读次数：
1335
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目，拥有着庞大的社区支持（活跃开发者人数已超过Ha...
分类：
其他好文 时间：
2015-07-06 19:18:38
阅读次数：
142
在hadoop集群上搭好spark环境及体验spark shell之后可以重新做做官方的快速上手。运行独立程序（SimpleApp.py）：
首先编写程序（这里用Pytho的API）：
from pyspark import SparkContextlogFile = "README.md" #注意这里的文件是在hdfs中的
sc = SparkContext("local","Simp...
分类：
移动开发 时间：
2015-07-05 18:37:23
阅读次数：
218
为什么要了解点数学基础学习大数据分布式计算时多少会涉及到机器学习的算法，所以理解一些机器学习基础，有助于理解大数据分布式计算系统（例如spark）的设计。机器学习中一个常见的就是gradient descent算法，是线性回归问题的一个基础算法。gradient是数学概念。Gradient假设一个函数有n个自变量：f(x1,x2......xn)f(x_1,x_2......x_n)，且每个x都是标...
分类：
编程语言 时间：
2015-07-05 09:40:29
阅读次数：
147
