DROP TABLE IF EXISTS "CNYB"."CT_DAY_PLANT_001";CREATE TABLE "CNYB"."CT_DAY_PLANT_001"( "ID" VARCHAR(32) NOT NULL, "YEAR" VARCHAR(4) NOT NULL, "DATE" V ...
分类：
其他好文 时间：
2020-05-04 13:18:33
阅读次数：
55
1、分布式 2、基于内存 3、迭代式计算 每一批节点上的每一批数据就是一个RDD RDD是spark的核心抽象 1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的 ...
分类：
其他好文 时间：
2020-05-03 20:41:36
阅读次数：
61
如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
前言 有同事问到，Spark读取一张Hive表的数据Task有一万多个，看了Hive表分区下都是3MB~4MB的小文件，每个Task只处理这么小的文件，实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定，所以他想通过repartition(num)的方式来改变分区数， ...
分类：
其他好文 时间：
2020-05-03 12:43:20
阅读次数：
54
一. 准备工作 1.1. buildroot 开启flashcp 1.2. buildroot 开启ssh(便于网络传文件，如果你有更好传输文件办法当然可以不用ssh) 二. 实战 2.1. 查看分区 cat /proc/mtd 2.2. flashcp 用法 2.3. 烧录dtb(uboot,zI ...
分类：
其他好文 时间：
2020-05-03 01:02:16
阅读次数：
84
1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 ...
分类：
其他好文 时间：
2020-05-02 23:17:21
阅读次数：
117
前言 最近被问到了JVM的垃圾收集器，在此进行整理记录，供大家一起学习。 jvm垃圾收集器 jvm垃圾收集器是jvm内存回收的具体实现。本次讨论hotspot虚拟机中的垃圾收集器。 图中总共有7中垃圾收集器。两个收集器中连线则表示可以配合使用。 中间的横线代表新生代和老年代的分区。上面的是新生代的垃 ...
分类：
其他好文 时间：
2020-05-02 22:54:46
阅读次数：
51
题目： 分隔链表：给定一个链表和一个特定值 x，对链表进行分隔，使得所有小于 x 的节点都在大于或等于 x 的节点之前。 你应当保留两个分区中每个节点的初始相对位置。 思路： 要保证相对位置不变，使用尾插法。再使用两个空链表，一个存放小于x的，一个存放大于等于x的，然后组合。 程序： # Defin ...
分类：
编程语言 时间：
2020-05-02 21:22:10
阅读次数：
185
为什么要引入基本分页内存管理？ 答：在连续存储管理方式中， 固定分区会产生内部碎片，动态分区会产生外部碎片 。这两种技术对内存的利用率都比较低。而分页式存储管理方式把主存空间划分为大小相等且固定的块，块相对较小，作为主存的基本单位，每个进程也以块为基本单位划分，进程在执行时，以块为单位逐个申请主存中 ...
分类：
其他好文 时间：
2020-05-02 20:38:19
阅读次数：
104
系统盘在盘尾部压缩出适当的空间 用UltraIso烧录Ubuntu ISO到U盘 为Ubuntu自定义分区 / 不少于20GB /home 尽可能最大 /swap 选择内存容量差不多的容量，也可以不设置。 重启后安装 安装时，记得选择UEFI模式下的U盘 ...
