Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 ...
分类：
其他好文 时间：
2019-11-11 21:47:16
阅读次数：
85
select s.* from ( select *, row_number() over (partition by [分组字段] order by [排序字段]) as 别名 from 表名称 ) s where s.别名 = 1 .. ...
分类：
数据库 时间：
2019-11-10 22:28:25
阅读次数：
109
博文结构什么是LVMLVM中PV、VG、PE、LV扩大LV容量LVM的磁盘快照LVM相关指令汇整什么是LVM：LVM的重点在于“可以弹性的调整filesystem的容量！而并非在于性能与数据保全上面。若需要文件的读写性能或者是数据的可靠性，应该用RAID磁盘阵列LVM可以整合多个实体partition在一起，让这些partitions看起来就像是一个磁盘一样！而且，还可以在未来新增或移除其他的实体
分类：
系统相关 时间：
2019-11-10 10:16:46
阅读次数：
103
将线刷的包中的flash_all.bat右键编辑，然后在内容最前面加入这一句fastboot %* flash partition "%~dp0images\gpt_both0.bin" || @echo "Flash partition" && exit /B 1就可以了 记得线刷的时候要选全部删 ...
分类：
移动开发 时间：
2019-11-08 19:00:25
阅读次数：
131
```c /* quicksort.c Author: Zoro Date: 2019/11/8 function: 快速排序 QuickSort pivot partition */ #include void quickSort(int arr[], int L, int R) { int i ... ...
分类：
编程语言 时间：
2019-11-08 15:12:52
阅读次数：
105
Part1 手写代码 现场手写代码是现在面试中很常见的一类面试题，考察基础的数据结构与算法能力。 1 数组去重的实现 基本数组去重 利用hash表去重，这是一种空间换时间的方法 上面的方法存在一个bug，对于数组[1,2,'1','2',3]，去重结果为[1,2,3]，原因在于对象对属性索引时会进行 ...
分类：
其他好文 时间：
2019-11-07 19:13:46
阅读次数：
76
本文通过在SSD移动硬盘中安装win10和macos双系统，实现操作系统随身携带
分类：
移动开发 时间：
2019-11-06 18:11:42
阅读次数：
1058
Offset存储模型 由于一个partition只能固定的交给一个消费者组中的一个消费者消费，因此Kafka保存offset时并不直接为每个消费者保存，而是以 groupid-topic-partition -> offset 的方式保存。 如图所示： Kafka在保存Offset的时候，实际上是将 ...
分类：
其他好文 时间：
2019-11-06 13:12:06
阅读次数：
61
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 主要由Split、Map、Partition、Sort、Combine（需要自己写）、Merge、Reduce组成，一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写，主要是写出Map ...
分类：
其他好文 时间：
2019-11-05 21:40:23
阅读次数：
96
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
