码迷,mamicode.com
首页 >  
搜索关键字:hadoop、spark    ( 198个结果
spark集群详细搭建过程及遇到的问题解决(三)
上篇文章中讲完了如何配置免密码登录的问题,现在讲述下,三个节点的环境配置过程。所需要的hadoop-2.7.3.tar.gz、jdk-7u79-linux-x64.tar.gz、scala-2.11.6.tgz、spark-2.0.1-bin-hadoop2.7.tgz可以点击这里获取,资源存放在百度云盘。首先需要在三个节点中分别创建spark目录m..
分类:其他好文   时间:2016-11-18 07:59:15    阅读次数:379
spark集群详细搭建过程及遇到的问题解决(二)
(二)配置ssh无密码访问集群机器master节点root@master:/home#su-spark spark@master:~$ spark@master:~$ssh-keygen-trsa #一直enter键spark@master:~$cd.ssh/ spark@master:~/.ssh$ls id_rsaid_rsa.pub spark@master:~/.ssh$catid_rsa.pub>authorized_keys spark@master:~..
分类:其他好文   时间:2016-11-17 02:38:01    阅读次数:190
spark集群详细搭建过程及遇到的问题解决(一)
注:其中也参考了网上的许多教程,但很多网上的教程在配置过程中,会出很多错误,在解决的过程中,做出了总结。此文是针对小白。如有不对,请大神们指教。。。。配置环境系统:Ubuntu16.04配置版本分别为:hadooop2.7.3、java"1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2..
分类:其他好文   时间:2016-11-17 02:33:03    阅读次数:362
Java调用Shell命令和脚本,致力于hadoop/spark集群
前言 说明的是,本博文,是在以下的博文基础上,立足于它们,致力于我的大数据领域! http://kongcodecenter.iteye.com/blog/1231177 http://blog.csdn.net/u010376788/article/details/51337312 http:// ...
分类:编程语言   时间:2016-11-11 23:07:29    阅读次数:350
Spark Streaming源码解读之Job详解
一:Spark Streaming Job生成深度思考 1. 做大数据例如Hadoop,Spark等,如果不是流处理的话,一般会有定时任务。例如10分钟触发一次,1个小时触发一次,这就是做流处理的...
分类:其他好文   时间:2016-11-06 23:02:51    阅读次数:475
spark学习之Lambda架构日志分析流水线
单机运行 一、环境准备 Flume 1.6.0 Hadoop 2.6.0 Spark 1.6.0 Java version 1.8.0_73 Kafka 2.11-0.9.0.1 zookeeper 3.4.6 二、配置 spark和hadoop配置见() kafka和zookeeper使用默认配置 ...
分类:其他好文   时间:2016-10-26 20:25:10    阅读次数:295
Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置
一、 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2. 安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen -t dsa -P '' -f ~/.ss ...
分类:Web程序   时间:2016-10-20 07:41:24    阅读次数:233
MongoDB迁移方案-冷备份+增量备份恢复
QQ群:4656146861.环境构建步骤(1)线上环境都是副本集模式3个业务访问节点+1个隐藏节点(隐藏节点做hadoop、spark数据同步使用以及数据报表查询等)(2)主机以及配置说明10.21.18.21primary节点优先级为10010.21.18.22secondary节点优先级为9010.21.18.23secondary节点优先级为801..
分类:数据库   时间:2016-10-11 22:31:08    阅读次数:865
在windows下运行spark
1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz 2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.7 3.配置环境变量 HADOOP_HOME:D:\bigdata\hadoop-2.7.2 SPARK_HOME:D:\bigdata\s ...
分类:Windows程序   时间:2016-10-11 10:36:59    阅读次数:331
Hadoop+Spark:集群环境搭建
环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso): 192.168.1.200 master 192.16 ...
分类:其他好文   时间:2016-09-24 13:40:34    阅读次数:308
198条   上一页 1 ... 10 11 12 13 14 ... 20 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!