业务场景:需求:通过flume进行数据采集,将本地(windows服务器)不断产生的csv文件采集到hdfs上。问题:本地文件在生成的过程中,会出现文件名重复的现象。也就是说,在前一秒生成文件名为aaa.csv,该文件经过flume进行处理之后会进行文件名的更改,默认情况下文件名会更改为aaa.cs... ...
分类:
Web程序 时间:
2020-01-23 09:14:02
阅读次数:
290
CodeForces - 229B Planets 题目大意:给你m条边的无向图,边权代表从一个点到另一个点的花费时间,每个点给你k个时间点,表示如果你在ki时刻到达该顶点,你需要等待一秒。问从顶点1到顶点n的最少耗时是多少。 题解:正常跑最短路,在松弛的时候判断这个点需要等待多少秒再出发。 卡点: ...
分类:
其他好文 时间:
2020-01-18 01:16:35
阅读次数:
90
采样率 sample_rate: 44100 采样率指一秒钟采集44100次 声道 channels: 2 一般有左声道,右声道,声道数量越多采集出来的文件大小越大 样本大小(采样的格式) sample_size/sample_fmt: AV_SAMPLE_FMT_S16 AV_SAMPLE_FMT ...
分类:
其他好文 时间:
2020-01-17 09:35:52
阅读次数:
118
目前遇到一个问题,mysql使用source命令导入 *.sql 数据文件时,运行的很慢,大概一秒钟插入个一两百条左右的样子,对于大的文件来说这个太慢了,从其他博主那边搜集了一些方案,简单说就是一句话:SET GLOBAL innodb_flush_log_at_trx_commit = 2; 1. ...
分类:
数据库 时间:
2020-01-15 11:42:11
阅读次数:
119
委托代理(delegate) iOS 开发中十分常见。不管是使用系统自带的库,还是一些第三方组件时,我们总能看到 delegate 的身影。使用 delegate 可以实现代码的松耦合,减少代码复杂度。但如果我们项目中使用 RxSwift,那么原先的 delegate 方式与我们链式编程方式就不相称 ...
分类:
移动开发 时间:
2020-01-15 11:41:55
阅读次数:
146
消息队列核心使用场景:削峰,解耦,异步 MQ的好处 削峰: 比如抢购秒杀,不在这个点上的时候,可能每秒只有50次请求,但是开始秒杀的时候每秒的请求数可能可以达到上万次,如果这些操作直接落点在数据库上, 拿MYSQL来说,一般MYSQL一秒最多可以处理2000条请求,一秒上万的请求基本直接就把服务器给 ...
分类:
其他好文 时间:
2020-01-14 16:30:44
阅读次数:
93
“老板 来碗面” “要啥面?” “内牛满面..” 最近项目上的事情弄得人心累,本来是帮着兄弟项目写套入口代码,搞着搞着就被拉着入坑了。搞开发的都知道,最怕弄这种项目portal的东西,你调用一堆东西,结果各种调用报错都反馈到你这里,导致的结果就是除了啥问题都找你。 最形象的比喻就是,眼前一栋楼,你是 ...
分类:
编程语言 时间:
2020-01-14 11:41:06
阅读次数:
185
Date类的概述 java.util,Date 表示日期和时间的类类 Date 表示特定的瞬间,精确到千分之一秒(毫秒) 获取时间原点到当前系统时间经历了多少秒 // 时间原点:1970 年 01 月 01 日 00:00:00 public class DemoDate { public stat ...
分类:
编程语言 时间:
2020-01-11 18:15:47
阅读次数:
85
测试环境、预发布环境经过QA多番测试没有遇到问题,但在一次上线过程中,在线上环境出现20秒的响应超时,这个毫无疑问,环境问题。 尽管线上数据量大,可Mysql以不至于慢到20秒,而且发现每次技术都是20.01~20.04秒之间,相差不到一秒钟,mysql也不至于这么均匀,在好奇心下,运维大神配合查了 ...
分类:
Web程序 时间:
2020-01-09 22:42:11
阅读次数:
132
redis介绍 Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件redis是c语言编写的,支持数据持久化,是key-value类型数据库。应用在缓存,队列系统中redis支持数据备份,也就是master-slave模式 redis一秒可以执行10万 ...
分类:
其他好文 时间:
2020-01-02 22:30:49
阅读次数:
91