码迷,mamicode.com
首页 >  
搜索关键字:hadoop hdfs mapreduce yarn    ( 18270个结果
Hadoop实例
1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类:其他好文   时间:2020-11-07 16:17:20    阅读次数:18
TXT格式文件插入Hbase
将.txt格式文件插入Hbase中,代码如下 package addHbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.ap ...
分类:其他好文   时间:2020-11-06 02:49:19    阅读次数:37
Flink从入门到真香(Flink环境部署-集群standalone模式)
FlinkStandalone模式部署集群是最简单的一种部署方式,不依赖于其他的组件,另外还支持YARN/Mesos/K8S等模式下的部署Standalone执行架构图:1)client客户端提交任务给Jobmanager2)JobManager负责申请任务运行所需要的资源并管理任务和资源。3)JobManager分发任务给TaskManager执行4)TaskManager定期向JobManag
分类:其他好文   时间:2020-11-06 02:26:29    阅读次数:21
111
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.ut ...
分类:其他好文   时间:2020-11-06 01:37:17    阅读次数:15
知乎 HBase 实践
知乎HBase实践前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型,面向实时读写、随机访问大规模数据集的场景,是一个高可靠性、高性能、高伸缩的分布式存储系统,在大数据相关领域应用广泛.HBase系统支持对所存储的数据进行透明切分,从而使得系统的存储以及计算具有良好的水平扩展性.知乎从2017年起开始逐渐采用HBase系统存储各
分类:其他好文   时间:2020-11-06 01:07:32    阅读次数:22
Hbase配置手册
环境: 操作系统:ubuntu 12.10 64bit jdk:sun jdk 1.6 64bit hadoop:apache hadoop 1.02 hbase:apache hbase 0.92 先决条件:配置apache hadoop append,默认这个属性是false,需要设置为true ...
分类:其他好文   时间:2020-11-04 18:45:23    阅读次数:16
cordova混合App开发:Cordova+Vue实现Android APP开发 (打包及调试) (四)
1、把之前的 vue 项目改下 加上axios调用 记得 先安装axios yarn add axios 2、vue打包 vue_app目录 yarn run build 3、使用Android studio 打包APK 具体步骤看上一篇 步骤5 https://www.cnblogs.com/xt ...
分类:移动开发   时间:2020-11-02 10:46:46    阅读次数:44
Flink StreamingFileSink 处理流程
前两天试了下 Flink SQL 写 Hive,对 Sink 部分写数据到 HDFS 的部分比较疑惑,特别是基于 checkpoint 的文件提交,所以看了下 StreamingFileSink 的源码(Flink SQL 写 hive 复用了这部分代码) StreamingFileSink 是 1 ...
分类:其他好文   时间:2020-11-01 20:49:03    阅读次数:18
本文将大数据学习门槛降到了地平线
可能是Hadoop hdfs mapreduce最亲民的介绍
分类:其他好文   时间:2020-10-30 13:03:28    阅读次数:17
Yarn系列(二)——ApplicationMater启动过程分析
1. 前言 为了更好分析ApplicationMater启动过程,本篇博客在前言部分将简要介绍一下yarn中重要的两个基础库:服务库和事件库,然后在此基础上,着重分析ApplicationMater的启动过程。 本文基于Yarn 3.2版本,文章较长,谨慎阅读,若是文中有误欢迎留言指出。 1.1. ...
分类:移动开发   时间:2020-10-29 10:47:18    阅读次数:34
18270条   上一页 1 ... 25 26 27 28 29 ... 1827 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!