磁盘管理好坏直接关系到整个系统的性能问题本地存储设备fdisk-l--->真实存在的设备(分区后查看,不一定是系统识别的)cat/proc/partition--->系统识别的设备blkid--->系统可使用的设备(格式化后查看,不成功用partprobe同步分区表)df--->系统正在挂载的设备(挂载后使用查看).设备分类/dev/sda串行SCSI硬盘设备,/dev/h
分类:
系统相关 时间:
2019-07-31 00:52:05
阅读次数:
130
一、kafka优点 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性:kafka集群支持热扩展 持久性、可靠性:消息被持久化到本地磁盘,并且 ...
分类:
其他好文 时间:
2019-07-28 18:10:01
阅读次数:
100
一、字符串拆分 二、字符串拼接 三、常用操作 ...
分类:
编程语言 时间:
2019-07-26 16:01:37
阅读次数:
137
分区表 在Hive Select查询中,一般会扫描整个表内容(HDFS上文件的内容),会消耗很多时间做没必要的工作。分区表指的是在创建表时,指定partition的分区空间。 庞大的数据集可能需要耗费大量的时间去处理。在许多场景下,可以通过分区或切片的方法减少每一次扫描总数据量,这种做法可以显著地改 ...
分类:
其他好文 时间:
2019-07-25 17:38:46
阅读次数:
92
窗口函数可以进行排序,生成序列号等一般的聚合函数无法实现的高级操作。 窗口函数也称为OLAP函数,意思是对数据库数据进行实时分析处理。窗口函数就是为了实现OLAP而添加的标准SQL功能。 窗口函数语法:其中[]中的内容可以省略 使用格式: <窗口函数> over ([partition by <列清 ...
分类:
其他好文 时间:
2019-07-24 09:36:20
阅读次数:
118
Linux的核心概念:各个组件或设备在Linux下面都是一个文件。(这也是和Windows系统最大的不同) 各硬件设备在Linux中的文件名: /dev/lp[0-2] (25针打印机) /dev/usb/lp[0-15] (USB接口) /dev/input/mouse[0-15] (通用) /d ...
分类:
系统相关 时间:
2019-07-23 13:05:45
阅读次数:
151
RocketMQ整理 概念 broker MQ服务节点 topic 主题 message queue 消息队列,类似于kafka中的partition producer 生产者,先去连接name server,查询到对应的broker信息,再去连接broker consumer 消费者,先去连接na ...
分类:
其他好文 时间:
2019-07-23 11:39:13
阅读次数:
85
1)A list of partitions RDD由很多partition构成,有多少partition就对应有多少task来执行 2)A function for computing each split 对RDD做计算,相当于对RDD的每个split或partition做计算 3)A list ...
分类:
其他好文 时间:
2019-07-21 16:31:29
阅读次数:
112
sparkRDD算子 分区/只读/依赖/缓存/checkPoint Transformation map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 filter(func) 返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成 ...
分类:
其他好文 时间:
2019-07-20 23:00:20
阅读次数:
116
单个字段去重并选出每个分组里面的最大值对应的行: Row_Number去重: select * from (select *,row_number()over(partition by Servername order by Check_Date desc) Suquence from AuditI ...
分类:
数据库 时间:
2019-07-12 18:24:25
阅读次数:
159