码迷,mamicode.com
首页 >  
搜索关键字:hadoop 分布式    ( 35770个结果
聚焦 | 数据湖分析如何面向对象存储OSS进行优化?
简介: 最佳实践,以DLA为例子。DLA致力于帮助客户构建低成本、简单易用、弹性的数据平台,比传统Hadoop至少节约50%的成本。其中DLA Meta支持云上15+种数据数据源(OSS、HDFS、DB、DW)的统一视图,引入多租户、元数据发现,追求边际成本为0,免费提供使用。DLA Lakehou ...
分类:其他好文   时间:2021-06-18 20:06:29    阅读次数:0
Sqoop的数据导出
将数据从HDFS把文件导出到RDBMS数据库 导出前,目标表必须存在于目标数据库中。 默认操作是从将文件中的数据使用INSERT语句插入到表中 更新模式下,是生成UPDATE语句更新表数据 数据是在HDFS当中的如下目录/sqoop/emp,数据内容如下 1201,gopal,manager,500 ...
分类:其他好文   时间:2021-06-18 19:31:03    阅读次数:0
MapReduce(八)Hadoop中的数据本地化
原文链接: https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化(Data locality)是指将计算移动到数据所在的节点,而不是移动数据移动到计算所在的节点。在Hadoop中,一 ...
分类:其他好文   时间:2021-06-18 19:09:26    阅读次数:0
k8s
Kubenetes是一个针对容器应用,进行自动部署,弹性伸缩和管理的开源系统。主要功能是生产环境中的容器编排。 K8S是Google公司推出的,它来源于由Google公司内部使用了15年的Borg系统,集结了Borg的精华。 和大多数分布式系统一样,K8S集群至少需要一个主节点(Master)和多个 ...
分类:其他好文   时间:2021-06-18 18:59:17    阅读次数:0
ubuntu安装配置eclipse+hadoop开发环境(十分详细)+WordCount实例
https://blog.csdn.net/QYmufeng/article/details/79580582 我的环境: 系统平台:Ubuntu14.04TLS(64位) Hadoop环境:Hadoop2.8.3 Eclipse:Neon.2 Release(4.6.2) Eclipse插件:ha ...
分类:系统相关   时间:2021-06-17 17:05:08    阅读次数:0
Maven构建分布式项目时子模块相互依赖打包技巧
IDEA部署微服务,在用Maven构建项目时子模块相互依赖,使用Maven插件进行打包 ...
分类:其他好文   时间:2021-06-17 16:45:42    阅读次数:0
ASP.NET Core配置Redis分布式缓存
本随笔结合Docker备忘一下ASP.NET Core项目如何配置分布式Redis缓存 首先Docker中拉取Redis:latest版本镜像; docker pull redis:latest 用拉去的最新镜像创建容器,配置端口映射(默认配置6379) docker run -itd --name ...
分类:Web程序   时间:2021-06-16 18:23:10    阅读次数:0
超全面的权限系统设计方案!
前言 权限管理是所有后台系统的都会涉及的一个重要组成部分,主要目的是对不同的人访问资源进行权限的控制,避免因权限控制缺失或操作不当引发的风险问题,如操作错误,隐私数据泄露等问题。 目前在公司负责权限这块, 所以对权限这块的设计比较熟悉, 公司采用微服务架构, 权限系统自然就独立出来了, 其他业务系统 ...
分类:其他好文   时间:2021-06-16 18:10:45    阅读次数:0
Redisson 分布式锁实现之前置篇 → Redis 的发布/订阅 与 Lua
开心一刻 我找了个女朋友,挺丑的那一种,她也知道自己丑,平常都不好意思和我一块出门 昨晚,我带她逛超市,听到有两个人在我们背后小声嘀咕:“看咱前面,想不到这么丑都有人要。” 女朋友听后,羞的满脸通红,我想女朋友虽然丑但是对我很好,我不会嫌弃她的 后面两个人继续嘀咕:“是啊,那男人真丑!” 卧槽,小丑 ...
分类:其他好文   时间:2021-06-16 18:00:58    阅读次数:0
etcd基础架构
介绍 ? etcd是一个高可用的 Key/Value 存储系统,主要用于分享配置和服务发现。它是一款云原生时代的首选元数据存储产品,已经成为云原生和分布式系统的存储基石。 简要基础架构图 Client层 组成 client v2 API 客户端库 client v3 API 客户端库 作用 提供了简 ...
分类:其他好文   时间:2021-06-15 18:38:43    阅读次数:0
35770条   上一页 1 ... 6 7 8 9 10 ... 3577 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!