码迷,mamicode.com
首页 >  
搜索关键字:spark history    ( 9960个结果
Spark随笔(一):Spark的综合认识
一、Spark与Hadoop的关系 Spark和Hadoop只是共用了底层的MapReduce编程模型,即它们均是基于MapReduce思想所开发的分布式数据处理系统。 Hadoop采用MapReduce和HDFS技术,其MapReduce计算模型核心即Map操作和Reduce操作,在这个计算模.....
分类:其他好文   时间:2014-09-10 19:12:50    阅读次数:311
SparkStreaming结合Kafka使用
spark自带的example中就有streaming结合kafka使用的案例:$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述:Usage: ...
分类:其他好文   时间:2014-09-10 17:29:50    阅读次数:219
Kafka单机版环境搭建
使用版本:kafka_2.10-0.8.1.1安装:tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/添加环境变量:.bash_profileexport KAFKA_HOME=/home/spark/app/kafka_2.10-0.8.1.1export PAT...
分类:其他好文   时间:2014-09-10 17:18:30    阅读次数:231
【互动问答分享】第2期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第2期互动问答分享】Q1:新手学习spark如何入手才好?先学习Scala的内容,强烈推荐《快学Scala》;然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路(共3本书)”循序渐进的学习即可,其中“云计算分布..
分类:其他好文   时间:2014-09-10 14:20:40    阅读次数:211
【互动问答分享】第3期决胜云计算大数据时代Spark亚太研究院公益大讲堂
决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第3期互动问答分享】Q1:groupbykey是排好序的吗?分组排序怎么实现?groupByKey在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集,所以是没有排序的;要想分组排序,首先要使用groupByKey完成分..
分类:其他好文   时间:2014-09-10 14:19:51    阅读次数:259
Linux History安全问题【保存记录防止删除】+完善Linux/UNIX审计 将每个shell命令记入日志
2011-09-27 22:11:51|分类:rhel5_033|举报|字号订阅Linux利用PROMPT_COMMAND实现审计功能这个系统审计,记录什么用户,在什么时间,做了什么操作。 然后将查到的信息记录到一个文件里。一. 配置1. 在/etc/profile 文件的最后,添加如下2行代码:e...
分类:系统相关   时间:2014-09-10 14:06:50    阅读次数:357
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(3)
启动并查看集群的状况 第一步:启动Hadoop集群,这个在第二讲中讲解的非常细致,在此不再赘述: 启动之后在Master这台机器上使用jps命令,可以看到如下进程信息: 在Slave1 和Slave2上使用jps会看到如下进程信息:...
分类:其他好文   时间:2014-09-10 11:00:41    阅读次数:345
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(3)
启动并查看集群的状况 第一步:启动Hadoop集群,这个在第二讲中讲解的非常细致,在此不再赘述: 启动之后在Master这台机器上使用jps命令,可以看到如下进程信息: 在Slave1 和Slave2上使用jps会看到如下进程信息: 第二步:启动Spark集群  在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin...
分类:其他好文   时间:2014-09-10 10:55:20    阅读次数:225
sparkSQL1.1入门之五:测试环境之搭建
前面介绍了sparkSQL的运行架构,后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前,我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件,相关的信息如下: hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点:http:...
分类:数据库   时间:2014-09-10 09:39:40    阅读次数:378
sparkSQL1.1入门之六:sparkSQL之基础应用
sparkSQL1.1对数据的查询分成了2个分支:sqlContext 和 hiveContext。       在sqlContext中,sparkSQL可以使用SQL-92语法对定义的表进行查询,表的源数据可以来自: RDDparquet文件json文件       在hiveContext中,sparkSQL可以使用HQL语法,对hive数据进行查询,sparkSQ...
分类:数据库   时间:2014-09-10 09:38:00    阅读次数:406
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!