01 我们一起学大数据 今天老刘分享的是MapReduce知识点的第二部分,在第一部分中基本把MapReduce的工作流程讲述清楚了,现在就是对MapReduce零零散散的知识点进行总结,这次的内容大纲如下图: 02 需要谨记的知识点 第6点:自定义分区 在上篇文章里的第五点提到过这句话:分区用到了 ...
分类:
其他好文 时间:
2020-11-25 12:39:39
阅读次数:
6
2020 年 双11,世纪联华基于阿里云函数计算 (FC) 弹性扩容,应用于大促会场 ***、线上商品秒杀、优惠券定点发放、行业导购、数据中台计算等多个场景,业务峰值 QPS 较去年提升 230%,研发效率交付提效超过 30%,弹性资源成本减少 40% 以上。当 双11 走过 11 个年头,传统企业正在凭借云原生技术悄然逆势崛起,参与到这场全球购物狂欢节中。
分类:
其他好文 时间:
2020-11-23 12:29:59
阅读次数:
6
最近经常有小伙伴留言,核心问题都比较类似,就是虽然接触Spark有一段时间了,但是搞不明白一个问题,为什么我从HDFS上加载不同的文件时,打印的分区数不一样,并且好像spark.default.parallelism这个参数时不是一直起作用?其实笔者之前的文章已有相关介绍,想知道为什么,就必须了解S... ...
分类:
其他好文 时间:
2020-11-23 12:25:04
阅读次数:
5
C是一致性,A是可用性,P是分区容错。前两个没什么好说的,主要是P我不太清楚。然后我看文章中最后的证明,有点明白了。分区是指两个服务器之间发送信息失败。而分区容错就是系统允许发生这种两个服务器之间无法传输数据的情况。 也就是说C和A如果算是正面的、好的性质,那么P就是负面的、坏的性质。 那为什么允许 ...
分类:
其他好文 时间:
2020-11-23 12:04:57
阅读次数:
5
原文链接:https://blog.csdn.net/u013256816/article/details/73757884 网络分区的意义 RabbitMQ的模型类似交换机模型,且采用erlang这种电信网络方面的专用语言实现。RabbitMQ集群是不能跨LAN部署(如果要WAN部署需要采用专门的 ...
分类:
其他好文 时间:
2020-11-23 11:58:02
阅读次数:
3
第12章MySQL分区本章学习目标?理解分区的概念?了解分区的类型?了解分区管理MySQL从5.1版本开始支持分区的功能,分区是一种物理数据库设计技术,其主要目的是在特定的SQL操作中,通过减少数据读写的总量来缩减SQL语句的响应时间,同时对于应用来说分区完全是透明的,本章将对MySQL分区详细讲解。12.1分区概述12.1.1分区的概念MySQL数据库中的数据是以文件的形式存在磁盘上,默认放在/
分类:
数据库 时间:
2020-11-23 11:44:11
阅读次数:
11
redis的多机数据库实现,主要分为以下几种: 1.主从复制 2.哨兵模式 3.Redis官方提供的Cluster集群模式(服务端) 4.Jedis sharding集群(客户端sharing) 5.利用中间件代理,比如codis等 其中前三个为服务器端方案,后两个为客户端分区方案,类似于分表分库方 ...
分类:
其他好文 时间:
2020-11-21 12:36:44
阅读次数:
11
1、现象:日志服务器当初考虑不周,分区划分不太合理: 2、目标:将/home磁盘空间缩减 并将新的磁盘分区扩充到/根目录 卸载/home分区并压缩分区 卸载/home时 提示目标忙,fuser -m /home查看谁用/home时提示没有fuser命令 [root@localhost zabbix] ...
分类:
系统相关 时间:
2020-11-21 12:02:35
阅读次数:
15
材料 一个U盘/移动硬盘(最好大一点) VMware Ubuntu18.04镜像文件(比较稳定) 开始 做虚拟机 https://blog.csdn.net/weixin_42533541/article/details/81877207 安装到U盘 将U盘连接到虚拟机 前面的配置 分区 分完上面的 ...
分类:
系统相关 时间:
2020-11-20 11:33:29
阅读次数:
25
漫画:什么是区块链?点击上方“程序员小灰”,选择“置顶公众号”有趣有内涵的文章第一时间送达!什么是区块链?区块链,英文Blockchain,本质上是一种去中心化的分布式数据库。任何人只要架设自己的服务器,接入区块链网络,都可以成为这个庞大网络的一个节点。区块链既然本质是数据库,里面究竟存储了什么东西呢?让我们来了解一下区块链的基本单元:区块(Block)。一个区块分为两大部分:1.区块头区块头里面
分类:
其他好文 时间:
2020-11-20 11:19:55
阅读次数:
5