Hadoop 安装简单说就是:ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配 数据存放目录 / MR要用yarn 及 master是谁 。
本文还提供涉及到的文件下载。...
分类:
其他好文 时间:
2015-07-05 09:34:59
阅读次数:
112
DStream
如果要用一句话来概括Spark Streaming的处理思路的话,那就是"将连续的数据持久化,离散化,然后进行批量处理"。
让我们来仔细分析一下这么作的原因。
数据持久化 将从网络上接收到的数据先暂时存储下来,为事件处理出错时的事件重演提供可能,
离散化 数据源源不断的涌进,永远没有一个尽头,就像周星驰的喜剧中所说“崇拜之情如黄河之水绵绵不绝,一发而不可收拾...
分类:
其他好文 时间:
2015-06-16 19:17:52
阅读次数:
275
小弟不才,工作中也用到了大数据的相关东西,一开始接触的时候,是通过买来的教学视频入的门。这两天整理了一下自己的视频资料,供各位进行下载。
文档截图:...
分类:
其他好文 时间:
2015-06-03 13:42:05
阅读次数:
146
概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回。准备1.spark已经安装完毕2.spark运行在localmode或local-clustermodelocal-clustermodelocal-cluster模式也称为伪分..
分类:
Web程序 时间:
2015-06-01 20:40:37
阅读次数:
130
本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境搭建在进行后续操作前,确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行,即local模式local模式运行非常简单,只要运行以..
分类:
Web程序 时间:
2015-05-28 18:21:38
阅读次数:
327
1、复制文件至HDFS:
hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -mkdir /user
hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -mkdir /user/hadoop
hadoop@Mhadoop:/usr/local/hadoop$ bin/hdfs dfs -copyFromL...
分类:
系统相关 时间:
2015-05-02 15:16:53
阅读次数:
187
感觉可能只是适合我自己的部署习惯吧,且只针对CENTOS6及以下版本,以后有时间,可能还是要改进。。1,从VM的模块产生的虚拟机,如何快速搞定网络配置?#!/bin/bash#usage:./init_cdh_sys.sh hostname hostip#generate the host from...
分类:
其他好文 时间:
2015-04-28 08:17:58
阅读次数:
190
大数据的处理方式有两种:基于内存的流式处理和基于硬盘的存储处理。...
分类:
其他好文 时间:
2015-04-25 09:25:32
阅读次数:
127
http://deeplearning4j.org/它是第一个商业应用级的开元,分布式深度学习框架,最主要的是java写的,并且也可以用scala.它和hadoop , spark都能整合, DL4J是为商业环境而设计的东东,也支持CUDA编程.前些日子用theano, 总是感觉不成熟,各种bug不断....
分类:
编程语言 时间:
2015-03-30 01:36:26
阅读次数:
136
一、环境概述:192.168.1.2master192.168.1.3worker192.168.1.4worker二、Scala环境设置[root@master~]#tarzxvfscala-2.10.4.tgz-C/home/hadoop/
[root@master~]#cd/home/hadoop/
[root@masterhadoop]#ln-sscala-2.10.4scala
[root@master~]#chown-Rhadoop.hadoop/home/hadoop/..
分类:
其他好文 时间:
2015-03-21 21:28:55
阅读次数:
171