复制-Kafka的核心复制功能是Kafka架构的核心。在Kafka的文档里,Kafka把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性和持久性。Kafka使用主题来组织数据,每个主题被分为若干个分区,每个分区有多 ...
分类:
其他好文 时间:
2020-04-01 16:20:42
阅读次数:
64
hadoop中map和reduce都是进程(spark中是线程),map和reduce可以部署在同一个机器上也可以部署在不同机器上。 输入数据是hdfs的block,通过一个map函数把它转化为一个个键值对,并同时将这些键值对写入内存缓存区(100M),内存缓存区的数据每满80M就会将这80M数据写 ...
分类:
其他好文 时间:
2020-04-01 00:56:20
阅读次数:
58
MySQL分区表概述 随着MySQL越来越流行,Mysql里面的保存的数据也越来越大。在日常的工作中,我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情,由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件 ...
分类:
其他好文 时间:
2020-03-31 17:12:59
阅读次数:
78
sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出。如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序。 选项与参数:-f :忽略大小写的差异,例如 A 与 a 视为编码相同;-b :忽略最前面的空格符部分;-M :以月份的名字来 ...
分类:
系统相关 时间:
2020-03-31 16:02:36
阅读次数:
90
" 由斜杠划分区域" 在由 1 x 1 方格组成的 N x N 网格 中,每个 1 x 1 方块由 、`\` 或空格构成。这些字符会将方块划分为一些共边的区域。 (请注意,反斜杠字符是转义的,因此 用 表示。)。 返回区域的数目。 解题思路 我们可以将斜杠转换成3 3的矩阵,因为必须3 3之后才不会 ...
分类:
其他好文 时间:
2020-03-30 23:34:20
阅读次数:
71
1.选择安装 2.检查镜像 3.选择安装语言 4.键盘布局 5.安装介质 6.是否格式化 7.设置主机名 8.选择时区 9.设置密码 10.选择分区方式 11.分区模式 12.boot分区,boot分区不是必须的,如果不设置默认在跟目录下面。centos6的boot分区200M足够了。不会变得太大 ...
分类:
其他好文 时间:
2020-03-30 23:01:17
阅读次数:
72
普通Linux分区方式: /根分区 Linux系统必须要有的,相当于 Windows的C盘,系统程序相关的。 /boot分区 存放内核相关程序 是可选的 5 6给200M,7给256M(工作中1-2G) swap分区 虚拟分区 作用内存不够的时候 系统就会把swap当做内存用。 防止因为内存不够死机 ...
分类:
其他好文 时间:
2020-03-30 21:19:43
阅读次数:
75
排序算法 [toc] 1. 排序算法概述 1.1 什么是排序算法? 对一序列对象根据某个关键字,按照某种规则进行排序 1.2、排序术语 稳定 :如果a原本在b前面,而a=b,排序之后a仍然在b的前面 不稳定 :如果a原本在b的前面,而a=b,排序之后a可能会出现在b的后面 内排序 :所有排序操作都在 ...
分类:
编程语言 时间:
2020-03-30 19:39:50
阅读次数:
76
6.7 <div>标签-HTML5精讲 课时ID:6.7 【表严肃】#HTML教程 #HTML5教程 #div标签 是什么 <div>是用于在网页中划分区域的(division的缩写),通常作为容器而存在,用于包含网页中的内容,是最常用的网页元素之一。 怎么用 <html> <body> <div> ...
分类:
Web程序 时间:
2020-03-30 16:14:02
阅读次数:
77