码迷,mamicode.com
首页 >  
搜索关键字:pig hadoop    ( 14402个结果
在idea上运行spark的wordcount
1.环境hadoop-2.6.0 spak2.1.1 scala-sdk-2.11.12 2.maven项目创建 3.pom 4.阿里云settings配置 <?xml version="1.0"?> <settings xsi:schemaLocation="http://maven.apache ...
分类:其他好文   时间:2020-04-02 19:37:02    阅读次数:213
hadoop-MapReduce框架原理之Shuffle机制
1.Shuffle机制 1.1 什么是shuffle机制 1.1.1 在hadoop中数据从map阶段传递给reduce阶段的过程就叫shuffle,shuffle机制是整个MapReduce框架中最核心的部分; 1.1.2 shuffle翻译成中文的意思为:洗牌,发牌(核心机制:数据分区,排序,缓 ...
分类:其他好文   时间:2020-04-02 18:08:23    阅读次数:115
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing ...
分类:Web程序   时间:2020-04-02 17:59:54    阅读次数:82
1、Hadoop环境搭建
Hadoop有三种模式:本地模式、伪分布模式、集群模式 1、本地模式 1、在/opt下面创建一个software文件 2、将文件hadoop-2.6.5.tar.gz拷贝到 /opt/software下面 3、在usr下创建hadoop把hadoop-2.6.5.tar.gz 复制到 /usr/ha ...
分类:其他好文   时间:2020-04-02 11:42:47    阅读次数:75
hadoop hbase 命令集合
./bin/hdfs zkfc -formatZK 初始安装时初始化zk,在Zookeeper中创建了路径/hadoop-ha/hacluster ./bin/hdfs haadmin -getServiceState master1 查看主节点的状态,是active还是standby ./bin/ ...
分类:其他好文   时间:2020-04-01 19:33:47    阅读次数:55
MapReduce深入
hadoop中map和reduce都是进程(spark中是线程),map和reduce可以部署在同一个机器上也可以部署在不同机器上。 输入数据是hdfs的block,通过一个map函数把它转化为一个个键值对,并同时将这些键值对写入内存缓存区(100M),内存缓存区的数据每满80M就会将这80M数据写 ...
分类:其他好文   时间:2020-04-01 00:56:20    阅读次数:58
Linux下hadoop和spark的基础环境配置准备
我使用了4台虚拟机centos7来搭建环境, 2个主结点(一般是一个,但为了体验zookeeper,万一其中一个master挂掉呢,另外一个会自动启动接管), 2个从结点 注意:下面的配置主要以主节点为例进行说明 第一步:同步四台机器的时钟 sudo yum install ntpdate,确保已安 ...
分类:系统相关   时间:2020-03-31 22:59:21    阅读次数:97
Hive 使用Tez引擎的配置
前提 Hive 需要是 2.0以上版本 Tez配置 下载好tar包后,将tar包上传到HDFS集群路径下 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 将Linux本机上的tar包解压 Hive配置 在hive/conf ...
分类:其他好文   时间:2020-03-31 22:43:48    阅读次数:632
基于Windows下eclipse的MapReduce开发环境配置
零. 相关文件 链接:https://pan.baidu.com/s/1KmfZlxevk07p _Aosnsm2w 提取码:df5l 一. MapReduce环境配置 1. 解压hadoop 把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是 ) ...
分类:Windows程序   时间:2020-03-31 22:40:33    阅读次数:119
Centos7 搭建 Flume 搭配 Hadoop 采集 Nginx 日志
本文目的是根据前文的博文,打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 ...
分类:Web程序   时间:2020-03-31 19:24:58    阅读次数:204
14402条   上一页 1 ... 61 62 63 64 65 ... 1441 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!