码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop yarn    ( 30860个结果
编译安装大数据平台权限管理组件 - Apache Ranger 3.x
编译Ranger源码首先准备好Java和Maven环境:[root@hadoop01~]#java-versionjavaversion"1.8.0_261"Java(TM)SERuntimeEnvironment(build1.8.0_261-b12)JavaHotSpot(TM)64-BitServerVM(build25.261-b12,mixedmode)[root@hadoop01~]#
分类:Web程序   时间:2020-11-18 12:13:58    阅读次数:19
集群版hadoop安装,写给大忙人看的~
导语如果之前的单机版hadoop环境安装满足不了你,集群版hadoop一定合你胃口,轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManag
分类:其他好文   时间:2020-11-18 12:13:01    阅读次数:6
数据库读写分离架构,为什么我不喜欢
RD:单库数据量太大,数据库扛不住了,我要申请一个数据库从库,读写分离。DBA:数据量多少?RD:5000w左右。DBA:读写吞吐量呢?RD:读QPS约200,写QPS约30左右。上周在公司听到两个技术同学讨论,感觉对读写分离解决什么问题没有弄清楚,有些奔溃。另,对于互联网某些业务场景,并不是很喜欢数据库读写分离架构,一些浅见见文末。一、读写分离什么是数据库读写分离?答:一主多从,读写分离,主动同
分类:数据库   时间:2020-11-17 13:03:37    阅读次数:27
hadoop和maven
1、大数据有哪些特点? valume(大量) velocity(高速) variety(多样) value(低价值密度) 2、什么是大数据? 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类:其他好文   时间:2020-11-16 13:51:20    阅读次数:9
Spark Stuctured Streaming 读取文件夹数据
package com.atguigu.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org ...
分类:其他好文   时间:2020-11-16 13:25:07    阅读次数:3
12个行业月均阅读超100亿,看Spark如何助力微博Feed算法提升活跃度
12个行业月均阅读超100亿,看Spark如何助力微博Feed算法提升活跃度#编者按:本文由高可用架构向黄波约稿,介绍黄波在SparkSummitChina2016中的演讲精华,并侧重对微博系统和Feed系统进行了更多的介绍。黄波,2010年加入新浪微博,微博研发中心Feed技术专家,负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理,致力于将分布式计
分类:编程语言   时间:2020-11-16 13:06:48    阅读次数:9
毕业设计之 --- 基于opencv和深度学习的车牌识别系统
系统简介车牌识别这个系统,虽然传统,古老,却是包含了所有这四个特侦的一个大数据技术的缩影.在车牌识别中,你需要处理的数据是图像中海量的像素单元;你处理的数据不再是传统的结构化数据,而是图像这种复杂的数据;如果不能在很短的时间内识别出车牌,那么系统就缺少意义;虽然一副图像中有很多的信息,但可能仅仅只有那一小块的信息(车牌)以及车身的颜色是你关心,而且这些信息都蕴含着巨大的价值。也就是说,车牌识别系统
分类:其他好文   时间:2020-11-13 12:27:53    阅读次数:4
华为 FusionInsight HD Hive数据库
1.环境的安装与准备 参考下图: 2.数据库服务的安装与添加(HADOOP,HDFS,HIVE) 如下图所示: 3.华为官网的文档的指导手册(HADOOP,HDFS,HIVE) FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类:数据库   时间:2020-11-13 12:11:51    阅读次数:18
毕业设计之 --- 基于opencv和深度学习的车牌识别系统
系统简介 车牌识别这个系统,虽然传统,古老,却是包含了所有这四个特侦的一个大数据技术的缩影. 在车牌识别中,你需要处理的数据是图像中海量的像素单元;你处理的数据不再是传统的结构化数据,而是图像这种复杂的数据;如果不能在很短的时间内识别出车牌,那么系统就缺少意义;虽然一副图像中有很多的信息,但可能仅仅 ...
分类:其他好文   时间:2020-11-13 12:10:58    阅读次数:7
MySQL引擎
常用的存储引擎有以下: Innodb引擎:Innodb引擎提供了对数据库ACID事务的支持。并且还提供了行级锁和外键的约束。它的设计的目标就是处理大数据容量的数据库系统。 MyIASM引擎(原本Mysql的默认引擎):不提供事务的支持,也不支持行级锁和外键。 MEMORY引擎:所有的数据都在内存中, ...
分类:数据库   时间:2020-11-12 14:01:35    阅读次数:9
30860条   上一页 1 ... 44 45 46 47 48 ... 3086 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!