码迷,mamicode.com
首页 >  
搜索关键字:hadoop 2.7.2 大数据 hdfs ha    ( 28781个结果
Rancher 2.2.2 - HA 部署高可用k8s集群
对于生产环境,需以高可用的配置安装 Rancher,确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时,Rancher将与集群的 etcd 集成,并利用Kubernetes 调度实现高可用。 为确保高可用,本文所部署的 Kubernetes 集群将专用于运行 R ...
分类:其他好文   时间:2020-11-17 12:37:47    阅读次数:6
pk Round-3
1、hbase数据flush过程 1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据; 2)并将数据存储到HDFS中; 3)在HLog中做标记点。 2、数据合并过程 1)当数据块达到4块,hmaster将数据块加载到 ...
分类:其他好文   时间:2020-11-17 11:47:51    阅读次数:3
究竟啥才是互联网架构“高可用”
最近留言问“高可用”的朋友颇多,找历史文章又找不到,故重新优化发布,希望大家有收获。一、什么是高可用高可用HA(HighAvailability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务,我们说系统的可用性是100%。如果系统每运行100个时间单位,会有1个时间单位无法提供服务,我们说系统的可用性是99%。很多公司的高可用目
分类:其他好文   时间:2020-11-16 13:56:35    阅读次数:7
hadoop和maven
1、大数据有哪些特点? valume(大量) velocity(高速) variety(多样) value(低价值密度) 2、什么是大数据? 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类:其他好文   时间:2020-11-16 13:51:20    阅读次数:9
12个行业月均阅读超100亿,看Spark如何助力微博Feed算法提升活跃度
12个行业月均阅读超100亿,看Spark如何助力微博Feed算法提升活跃度#编者按:本文由高可用架构向黄波约稿,介绍黄波在SparkSummitChina2016中的演讲精华,并侧重对微博系统和Feed系统进行了更多的介绍。黄波,2010年加入新浪微博,微博研发中心Feed技术专家,负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理,致力于将分布式计
分类:编程语言   时间:2020-11-16 13:06:48    阅读次数:9
案例|S3、Cassandra、HDFS设计中隐藏的高可用法则
案例|S3、Cassandra、HDFS设计中隐藏的高可用法则Anythingthatcangowrongwillgowrong.会出错的事总会出错。——墨菲定律高可用NoSQL数据库是指服务无中断地持续运行的系统。许多基于网站的业务要求数据服务能够一直不中断。例如,在线购物的数据库需要保证7x24的可用性。为什么需要它们一直运行?假设你的数据库支撑着一个全球化的电子商务网站,那么数分钟的宕机就可
分类:其他好文   时间:2020-11-16 13:05:05    阅读次数:5
有关网卡virbr0的注意事项
在一些特殊环境中virbr0网卡有时候会造成难以预计的影响:第一种情况:网上有人说它可能会导致一些服务HA的VIP无法正常漂移,这点倒是没有发现
分类:其他好文   时间:2020-11-13 12:38:15    阅读次数:3
毕业设计之 --- 基于opencv和深度学习的车牌识别系统
系统简介车牌识别这个系统,虽然传统,古老,却是包含了所有这四个特侦的一个大数据技术的缩影.在车牌识别中,你需要处理的数据是图像中海量的像素单元;你处理的数据不再是传统的结构化数据,而是图像这种复杂的数据;如果不能在很短的时间内识别出车牌,那么系统就缺少意义;虽然一副图像中有很多的信息,但可能仅仅只有那一小块的信息(车牌)以及车身的颜色是你关心,而且这些信息都蕴含着巨大的价值。也就是说,车牌识别系统
分类:其他好文   时间:2020-11-13 12:27:53    阅读次数:4
华为 FusionInsight HD Hive数据库
1.环境的安装与准备 参考下图: 2.数据库服务的安装与添加(HADOOP,HDFS,HIVE) 如下图所示: 3.华为官网的文档的指导手册(HADOOP,HDFS,HIVE) FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类:数据库   时间:2020-11-13 12:11:51    阅读次数:18
毕业设计之 --- 基于opencv和深度学习的车牌识别系统
系统简介 车牌识别这个系统,虽然传统,古老,却是包含了所有这四个特侦的一个大数据技术的缩影. 在车牌识别中,你需要处理的数据是图像中海量的像素单元;你处理的数据不再是传统的结构化数据,而是图像这种复杂的数据;如果不能在很短的时间内识别出车牌,那么系统就缺少意义;虽然一副图像中有很多的信息,但可能仅仅 ...
分类:其他好文   时间:2020-11-13 12:10:58    阅读次数:7
28781条   上一页 1 ... 32 33 34 35 36 ... 2879 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!