码迷,mamicode.com
首页 >  
搜索关键字:hadoop、spark    ( 198个结果
Hadoop Spark 集群简便安装总结
Hadoop 安装简单说就是:ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。 本文还提供涉及到的文件下载。...
分类:其他好文   时间:2015-07-05 09:34:59    阅读次数:112
DStream实时流数据处理
DStream 如果要用一句话来概括Spark Streaming的处理思路的话,那就是"将连续的数据持久化,离散化,然后进行批量处理"。 让我们来仔细分析一下这么作的原因。 数据持久化 将从网络上接收到的数据先暂时存储下来,为事件处理出错时的事件重演提供可能, 离散化 数据源源不断的涌进,永远没有一个尽头,就像周星驰的喜剧中所说“崇拜之情如黄河之水绵绵不绝,一发而不可收拾...
分类:其他好文   时间:2015-06-16 19:17:52    阅读次数:275
hadoop、spark/storm等大数据相关视频资料汇总下载
小弟不才,工作中也用到了大数据的相关东西,一开始接触的时候,是通过买来的教学视频入的门。这两天整理了一下自己的视频资料,供各位进行下载。         文档截图:...
分类:其他好文   时间:2015-06-03 13:42:05    阅读次数:146
Apache Spark源码走读之3 -- Task运行期之函数调用关系分析
概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回。准备1.spark已经安装完毕2.spark运行在localmode或local-clustermodelocal-clustermodelocal-cluster模式也称为伪分..
分类:Web程序   时间:2015-06-01 20:40:37    阅读次数:130
Apache Spark源码分析-- Job的提交与运行
本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境搭建在进行后续操作前,确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行,即local模式local模式运行非常简单,只要运行以..
分类:Web程序   时间:2015-05-28 18:21:38    阅读次数:327
spark-shell初体验
1、复制文件至HDFS: hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -mkdir /user hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -mkdir /user/hadoop hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -copyFromL...
分类:系统相关   时间:2015-05-02 15:16:53    阅读次数:187
脚本两则--用于快速部署HADOOP,SPARK这些(特别是VM虚拟机模板部署出来的)。。
感觉可能只是适合我自己的部署习惯吧,且只针对CENTOS6及以下版本,以后有时间,可能还是要改进。。1,从VM的模块产生的虚拟机,如何快速搞定网络配置?#!/bin/bash#usage:./init_cdh_sys.sh hostname hostip#generate the host from...
分类:其他好文   时间:2015-04-28 08:17:58    阅读次数:190
大数据的两种处理方式
大数据的处理方式有两种:基于内存的流式处理和基于硬盘的存储处理。...
分类:其他好文   时间:2015-04-25 09:25:32    阅读次数:127
java 机器深度学习网站
http://deeplearning4j.org/它是第一个商业应用级的开元,分布式深度学习框架,最主要的是java写的,并且也可以用scala.它和hadoop , spark都能整合, DL4J是为商业环境而设计的东东,也支持CUDA编程.前些日子用theano, 总是感觉不成熟,各种bug不断....
分类:编程语言   时间:2015-03-30 01:36:26    阅读次数:136
Spark集群部署以及应用
一、环境概述:192.168.1.2master192.168.1.3worker192.168.1.4worker二、Scala环境设置[root@master~]#tarzxvfscala-2.10.4.tgz-C/home/hadoop/ [root@master~]#cd/home/hadoop/ [root@masterhadoop]#ln-sscala-2.10.4scala [root@master~]#chown-Rhadoop.hadoop/home/hadoop/..
分类:其他好文   时间:2015-03-21 21:28:55    阅读次数:171
198条   上一页 1 ... 15 16 17 18 19 20 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!