Nacos是一个易于使用的动态服务发现,配置和服务管理平台,用于构建云本机应用程序。
使用Spring Cloud Alibaba Nacos Discovery,您可以基于Spring Cloud的编程模型快速访问Nacos服务注册功能。 ...
分类:
其他好文 时间:
2020-04-30 11:25:59
阅读次数:
109
Hadoop 2.x 集群安装,包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类:
其他好文 时间:
2020-04-29 10:44:59
阅读次数:
76
Hadoop的下载和安装 一:Hadoop的简介 Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构,可利用分布式架构来存储海量数据,以及实现分布式的计算。 Hadoop许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数千台机器, 每个机器都提供本地 ...
分类:
其他好文 时间:
2020-04-29 01:25:12
阅读次数:
151
//使用MapReduce框架完成二次排序 // 主要原理使用组比较器完成排序再规约 // 环境 由于IDEA不会本地提交MR任务转到eclipse //代码如下 package com.swust.mapreduce; import java.io.IOException; import org. ...
分类:
其他好文 时间:
2020-04-27 19:34:20
阅读次数:
80
1.Hadoop的整体框架 Hadoop是由许多元素构成的,最核心的是HDFS(分布式文件系统),它存储了Hadoop集群中所有DataNode文件,HDFS的上一层是MapReduce引擎,MapReduce是一种计算模型,用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目 ...
分类:
其他好文 时间:
2020-04-27 13:27:50
阅读次数:
70
1.Fetch抓取 Fetch抓取是,Hive中对某些情况的查询可以不必使用MapReduce计算;例如像select * from table这种的操作,在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台; 在hive-default.xml.te ...
分类:
其他好文 时间:
2020-04-25 15:28:25
阅读次数:
91
Hadoop的官方案例都在mapreduce.jar文件夹中,提供了mapreduce的基本功能,可用于计算,eg:pi值,计算文档中的字数等 官方案例都在 hadoop-mapreduce-examples-2.7.3.jar 这个jar包中。 命令:hadoop jar ./hadoop-2.7 ...
分类:
其他好文 时间:
2020-04-24 01:40:56
阅读次数:
107
import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.mapreduce.TableOutputFormat import org.apache.hadoop.hbase.cli ...
分类:
其他好文 时间:
2020-04-22 09:54:55
阅读次数:
108
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类:
其他好文 时间:
2020-04-22 09:16:07
阅读次数:
55
一:自定义数据类 为什么需要自定义数据类 上一篇文章里面我们自己写了一个mapreduce 里面的Top N的https://www.cnblogs.com/wuxiaolong4/p/12733518.html,我们可以从代码里面看出来,里面用|作分隔符,这种方法不好,会由于你自己的失误导致读取字 ...
分类:
其他好文 时间:
2020-04-19 23:46:13
阅读次数:
104