1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类:
其他好文 时间:
2020-11-07 16:17:20
阅读次数:
18
将.txt格式文件插入Hbase中,代码如下 package addHbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.ap ...
分类:
其他好文 时间:
2020-11-06 02:49:19
阅读次数:
37
FlinkStandalone模式部署集群是最简单的一种部署方式,不依赖于其他的组件,另外还支持YARN/Mesos/K8S等模式下的部署Standalone执行架构图:1)client客户端提交任务给Jobmanager2)JobManager负责申请任务运行所需要的资源并管理任务和资源。3)JobManager分发任务给TaskManager执行4)TaskManager定期向JobManag
分类:
其他好文 时间:
2020-11-06 02:26:29
阅读次数:
21
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.ut ...
分类:
其他好文 时间:
2020-11-06 01:37:17
阅读次数:
15
知乎HBase实践前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型,面向实时读写、随机访问大规模数据集的场景,是一个高可靠性、高性能、高伸缩的分布式存储系统,在大数据相关领域应用广泛.HBase系统支持对所存储的数据进行透明切分,从而使得系统的存储以及计算具有良好的水平扩展性.知乎从2017年起开始逐渐采用HBase系统存储各
分类:
其他好文 时间:
2020-11-06 01:07:32
阅读次数:
22
环境: 操作系统:ubuntu 12.10 64bit jdk:sun jdk 1.6 64bit hadoop:apache hadoop 1.02 hbase:apache hbase 0.92 先决条件:配置apache hadoop append,默认这个属性是false,需要设置为true ...
分类:
其他好文 时间:
2020-11-04 18:45:23
阅读次数:
16
1、把之前的 vue 项目改下 加上axios调用 记得 先安装axios yarn add axios 2、vue打包 vue_app目录 yarn run build 3、使用Android studio 打包APK 具体步骤看上一篇 步骤5 https://www.cnblogs.com/xt ...
分类:
移动开发 时间:
2020-11-02 10:46:46
阅读次数:
44
前两天试了下 Flink SQL 写 Hive,对 Sink 部分写数据到 HDFS 的部分比较疑惑,特别是基于 checkpoint 的文件提交,所以看了下 StreamingFileSink 的源码(Flink SQL 写 hive 复用了这部分代码) StreamingFileSink 是 1 ...
分类:
其他好文 时间:
2020-11-01 20:49:03
阅读次数:
18
可能是Hadoop hdfs mapreduce最亲民的介绍
分类:
其他好文 时间:
2020-10-30 13:03:28
阅读次数:
17
1. 前言 为了更好分析ApplicationMater启动过程,本篇博客在前言部分将简要介绍一下yarn中重要的两个基础库:服务库和事件库,然后在此基础上,着重分析ApplicationMater的启动过程。 本文基于Yarn 3.2版本,文章较长,谨慎阅读,若是文中有误欢迎留言指出。 1.1. ...
分类:
移动开发 时间:
2020-10-29 10:47:18
阅读次数:
34