任务的划分 ? DAGScheduler类的handleJobSubmitted方法中，有一个提交阶段的的方法： var finalStage: ResultStage = null …… finalStage = createResultStage(finalRDD, func, partitio ...
分类：
其他好文 时间：
2021-01-12 10:29:01
阅读次数：
0
各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中，只需要将这类消息设置相同的 Key 即可，而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消费，因此可在消费时按分区进行顺序消费，保证每个分区的消息具备局部顺序性。由于需要确保分区消息的顺序性，并不能并 ...
分类：
编程语言 时间：
2021-01-11 11:11:50
阅读次数：
0
bigint -2^63 (-9,223,372,036,854,775,808) 到 2^63-1(9,223,372,036,854,775,807) 8 字节 int -2^31 (-2,147,483,648) 到 2^31-1 (2,147,483,647) 4 字节 smallint - ...
分类：
数据库 时间：
2021-01-11 11:09:08
阅读次数：
0
1.inode 1.1 文件元数据 inode存放文件的元数据，包括 ：block号，连接数，文件大小，创建修改时间，权限，所属组，所属用户 使用 stat 接口可获得 inode信息 1.2 inode表 磁盘分区后，对磁盘进行格式化，就生成了inode数组，位于磁盘前部分，在挂载后会载入内存。 ...
分类：
其他好文 时间：
2021-01-08 11:23:24
阅读次数：
0
* 如果是非Ubuntu系统，下面的apt-get命令要换成yum命令。apt-cache search all | grep -> yum list installed | grepapt-get purge -y -> yum remove -y其中的参数-y是过程中所有提示都自动选yes的作用 ...
分类：
其他好文 时间：
2021-01-07 12:30:42
阅读次数：
0
Atlas 作用： 记录并展示Hive表字段含义，以及表和字段之间的数据血缘关系。 局限： 依赖HBase和solr。 Azkaban 作用： 实现任务流执行，满足任务间依赖关系。 局限： 任务能添加依赖的任务，但是不能传参数，任务流中任意一条路线断了，不能这条路线重启执行。 ...
分类：
其他好文 时间：
2021-01-07 12:23:38
阅读次数：
0
ZeroMQ是云计算时代最好的通讯库 为什么一个通讯的库不提供socket的风格，反而看起来像是一个并行的库？ 云计算不就是分布式计算嘛！ 并行、多核、分布式，让计算能力不断的被扩展扩展，让数据不断地被分区分区，强大的计算能力就是这样堆出来的。 并发是目前云计算这个世界的主题，所以ZMQ提供了一个并 ...
分类：
其他好文 时间：
2021-01-07 12:23:26
阅读次数：
0
ubuntu18.04基于win10双系统的安装 分区 查看系统BIOS模式 win+R, 输入msinfo32, 得到系统信息,这里我的BIOS模式是传统模式（MBR），所以这里以MBR为例 下载ubuntu系统 链接： https://www.ubuntu.com/download/deskto ...
分类：
编程语言 时间：
2021-01-06 12:46:10
阅读次数：
0
题目 给你一个链表和一个特定值 x ，请你对链表进行分隔，使得所有小于 x 的节点都出现在大于或等于 x 的节点之前。 你应当保留两个分区中每个节点的初始相对位置。 示例： 输入：head = 1->4->3->2->5->2, x = 3 输出：1->2->2->4->3->5 思路 思路很简单， ...
分类：
其他好文 时间：
2021-01-06 12:15:51
阅读次数：
0
给你一个链表和一个特定值 x ，请你对链表进行分隔，使得所有小于 x 的节点都出现在大于或等于 x 的节点之前。 你应当保留两个分区中每个节点的初始相对位置。 示例： 输入：head = 1->4->3->2->5->2, x = 3 输出：1->2->2->4->3->5 来源：力扣（LeetCo ...
分类：
其他好文 时间：
2021-01-06 12:14:32
阅读次数：
0
