磁盘管理好坏直接关系到整个系统的性能问题本地存储设备fdisk-l--->真实存在的设备（分区后查看,不一定是系统识别的）cat/proc/partition--->系统识别的设备blkid--->系统可使用的设备（格式化后查看，不成功用partprobe同步分区表）df--->系统正在挂载的设备（挂载后使用查看）.设备分类/dev/sda串行SCSI硬盘设备，/dev/h
分类：
系统相关 时间：
2019-07-31 00:52:05
阅读次数：
130
一、kafka优点 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且 ...
分类：
其他好文 时间：
2019-07-28 18:10:01
阅读次数：
100
一、字符串拆分 二、字符串拼接 三、常用操作 ...
分类：
编程语言 时间：
2019-07-26 16:01:37
阅读次数：
137
分区表 在Hive Select查询中，一般会扫描整个表内容(HDFS上文件的内容)，会消耗很多时间做没必要的工作。分区表指的是在创建表时，指定partition的分区空间。 庞大的数据集可能需要耗费大量的时间去处理。在许多场景下，可以通过分区或切片的方法减少每一次扫描总数据量，这种做法可以显著地改 ...
分类：
其他好文 时间：
2019-07-25 17:38:46
阅读次数：
92
窗口函数可以进行排序，生成序列号等一般的聚合函数无法实现的高级操作。 窗口函数也称为OLAP函数，意思是对数据库数据进行实时分析处理。窗口函数就是为了实现OLAP而添加的标准SQL功能。 窗口函数语法：其中[]中的内容可以省略 使用格式： <窗口函数> over ([partition by <列清 ...
分类：
其他好文 时间：
2019-07-24 09:36:20
阅读次数：
118
Linux的核心概念：各个组件或设备在Linux下面都是一个文件。(这也是和Windows系统最大的不同) 各硬件设备在Linux中的文件名： /dev/lp[0-2] (25针打印机) /dev/usb/lp[0-15] (USB接口) /dev/input/mouse[0-15] (通用) /d ...
分类：
系统相关 时间：
2019-07-23 13:05:45
阅读次数：
151
RocketMQ整理 概念 broker MQ服务节点 topic 主题 message queue 消息队列，类似于kafka中的partition producer 生产者，先去连接name server，查询到对应的broker信息，再去连接broker consumer 消费者，先去连接na ...
分类：
其他好文 时间：
2019-07-23 11:39:13
阅读次数：
85
1）A list of partitions RDD由很多partition构成，有多少partition就对应有多少task来执行 2）A function for computing each split 对RDD做计算，相当于对RDD的每个split或partition做计算 3）A list ...
分类：
其他好文 时间：
2019-07-21 16:31:29
阅读次数：
112
sparkRDD算子 分区/只读/依赖/缓存/checkPoint Transformation map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 filter(func) 返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成 ...
分类：
其他好文 时间：
2019-07-20 23:00:20
阅读次数：
116
单个字段去重并选出每个分组里面的最大值对应的行： Row_Number去重： select * from (select *,row_number()over(partition by Servername order by Check_Date desc) Suquence from AuditI ...
分类：
数据库 时间：
2019-07-12 18:24:25
阅读次数：
159
