原文链接：http://blog.csdn.net/book_mmicky/article/details/25714545 随着Spark的应用越来越广泛，对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现，这个问题得到了逐步改善。从Spark1.0.0开始，Spa....
分类：
其他好文 时间：
2015-04-28 20:28:31
阅读次数：
177
1、spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存，如96G以上。
2、spark所有操作均基于RDD，操作主要分成2大类：transformation与action。
3、spark提供了交互处理接口，类似于shell的使用。
4、spark可以优化迭代工作负载，因为中间数据均保存于内存中。
5、spark 是在 Sc...
分类：
其他好文 时间：
2015-04-28 14:12:04
阅读次数：
128
一、安装Erlang 详细的安装介绍在这里（https://www.erlang-solutions.com/downloads/download-erlang-otp） ????wget http://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm...
分类：
其他好文 时间：
2015-04-28 12:16:12
阅读次数：
118
没有SCALA的东东，玩不起哈。./spark-shell从文件生成一个DRIVER？val logFile = sc.textFile("hdfs://192.168.14.51:9000/usr/root/spark-root-org.apache.spark.deploy.master.Mas...
分类：
其他好文 时间：
2015-04-28 09:29:07
阅读次数：
251
感觉可能只是适合我自己的部署习惯吧，且只针对CENTOS6及以下版本，以后有时间，可能还是要改进。。1，从VM的模块产生的虚拟机，如何快速搞定网络配置？#!/bin/bash#usage:./init_cdh_sys.sh hostname hostip#generate the host from...
分类：
其他好文 时间：
2015-04-28 08:17:58
阅读次数：
190
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分：
（1）环境准备
（2）安装scala
（3）安装spark
（4）验证安装情况
1、环境准备
（1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You wil...
分类：
其他好文 时间：
2015-04-27 15:14:49
阅读次数：
132
今天准备跑自己的spark程序，但是运行过程中遇到了OutOfMemory:GC overhead limit exceeded的错误。最后通过设置spark executor cores解决...
分类：
其他好文 时间：
2015-04-27 07:11:52
阅读次数：
211
一、背景 实习的时候做了一段时间php + web前端，然后入职的时候开始做基础运维（python）以及web前端，顺便写了一两个structs页面的后台代码（java），现在准备专职做spark相关业务（scala）。这些经历现在回想起来，真是乱如麻，当初是怎么扛下来的。 目前手上有10多台机.....
分类：
其他好文 时间：
2015-04-27 00:12:54
阅读次数：
168
嘿嘿，公司最近需要测试SPARK性能，赶上了。。那LUA之后，SCALA也简单看看，，，其实，我三月时买了本129元的SPARK的书，，全国只那一本哈。package com.hengheng.scalaclass HelloScala {}object HelloScala { def hell....
分类：
其他好文 时间：
2015-04-25 21:10:00
阅读次数：
111
Spark is what:Spache Spark is an open source clustercomputing system that aims to make dataanalytics fast — both fast to run and fast towriteBDAS:meso...
分类：
其他好文 时间：
2015-04-25 21:07:07
阅读次数：
249
