（一）一般分区 /boot 引导分区 256M swap 交换分区 物理内存的1.5倍左右，最高8G / 根分区 剩余都给 适用于：数据不太重要的服务器 （二）存储服务器（含数据库） /boot 引导分区 256M swap 交换分区 物理内存的1.5倍左右，最高8G / 根分区 100G /dat ...
分类：
系统相关 时间：
2020-05-05 09:15:52
阅读次数：
81
一，latest和earliest区别 1，earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 2，latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据 ...
分类：
其他好文 时间：
2020-05-04 17:37:47
阅读次数：
84
DROP TABLE IF EXISTS "CNYB"."CT_DAY_PLANT_001";CREATE TABLE "CNYB"."CT_DAY_PLANT_001"( "ID" VARCHAR(32) NOT NULL, "YEAR" VARCHAR(4) NOT NULL, "DATE" V ...
分类：
其他好文 时间：
2020-05-04 13:18:33
阅读次数：
55
1、分布式 2、基于内存 3、迭代式计算 每一批节点上的每一批数据就是一个RDD RDD是spark的核心抽象 1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的 ...
分类：
其他好文 时间：
2020-05-03 20:41:36
阅读次数：
61
如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， ...
分类：
其他好文 时间：
2020-05-03 12:43:20
阅读次数：
54
一. 准备工作 1.1. buildroot 开启flashcp 1.2. buildroot 开启ssh(便于网络传文件，如果你有更好传输文件办法当然可以不用ssh) 二. 实战 2.1. 查看分区 cat /proc/mtd 2.2. flashcp 用法 2.3. 烧录dtb(uboot,zI ...
分类：
其他好文 时间：
2020-05-03 01:02:16
阅读次数：
84
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
前言 最近被问到了JVM的垃圾收集器，在此进行整理记录，供大家一起学习。 jvm垃圾收集器 jvm垃圾收集器是jvm内存回收的具体实现。本次讨论hotspot虚拟机中的垃圾收集器。 图中总共有7中垃圾收集器。两个收集器中连线则表示可以配合使用。 中间的横线代表新生代和老年代的分区。上面的是新生代的垃 ...
分类：
其他好文 时间：
2020-05-02 22:54:46
阅读次数：
51
题目： 分隔链表：给定一个链表和一个特定值 x，对链表进行分隔，使得所有小于 x 的节点都在大于或等于 x 的节点之前。 你应当保留两个分区中每个节点的初始相对位置。 思路： 要保证相对位置不变，使用尾插法。再使用两个空链表，一个存放小于x的，一个存放大于等于x的，然后组合。 程序： # Defin ...
分类：
编程语言 时间：
2020-05-02 21:22:10
阅读次数：
185
