在Hadoop集群里，有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里，有四种模式： 1、local单机模式 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste ...
分类：
其他好文 时间：
2016-11-23 10:10:39
阅读次数：
335
版权声明：本文由王亮原创文章，转载请注明出处: 文章原文链接：https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种 ...
分类：
数据库 时间：
2016-11-16 19:31:52
阅读次数：
732
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK ...
分类：
其他好文 时间：
2016-11-11 07:53:24
阅读次数：
170
原创，转载请注明。谢谢 shell启动hadoop集群1：明确启动顺序 1）启动zookeeper集群（分别在centos 4-02，centos6-02，centos7-02） app/zookeeper-3.4.5/bin/zkServer.sh start //启动进程 app/zookeep ...
分类：
系统相关 时间：
2016-11-07 01:29:47
阅读次数：
222
预备工作： 启动hadoop集群 准备数据 Synthetic_control.data数据集下载地址http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data 在集群中创建 /user/root/ ...
分类：
编程语言 时间：
2016-11-05 17:28:43
阅读次数：
253
核心内容:
1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件
2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件
3、Hadoop2.4.1 + HA 集群搭建核心配置文...
分类：
其他好文 时间：
2016-10-31 16:42:19
阅读次数：
228
RHadoop是由Revolution Analytics发起的一个开源项目，它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages，分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。下载网址为 ...
分类：
其他好文 时间：
2016-10-25 22:03:41
阅读次数：
428
一、部分概念 二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多台1节点运行一个Hadoop系统) 1. 做好规划: 1> 需要哪些服务要先想好,因为配置文件后会分发到其他节点,避免重复修改配置 比如:我将要运行的服务有hdfs,yarn,mapreduce,secondary ...
分类：
其他好文 时间：
2016-10-21 19:08:38
阅读次数：
258
前段时间花了将近一天的时间了解了一下Hadoop，参考相关的资料Hadoop可以部署在openstack上，openstack通过Sahara对Hadoop集群进行部署和管理。于是又花时间研究了Sahara，主要参考官网的文档，但里面还是有些需要注意的地方，下面是我在openstack上部署Sahara的步骤。1．部署..
分类：
其他好文 时间：
2016-10-09 00:42:30
阅读次数：
175
YARN:Yet Another Resource Negotiator, Hadoop集群的资源管理器，可以对运行在Hadoop上的MapReduce V2，Spark，Impala等进行内存和CPU的分配。 MapReduce过程分析 input split（输入分片）阶段:在进行Map之前，会 ...
分类：
其他好文 时间：
2016-10-04 18:44:07
阅读次数：
144
