// 北京是getZoneTime(8),纽约是getZoneTime(-5),班加罗尔是getZoneTime(5.5). 偏移值是本时区相对于格林尼治所在时区的时区差值 function getZoneTime(offset) { // 取本地时间 var localtime = new Dat ...
分类：
Web程序 时间：
2020-06-23 15:52:47
阅读次数：
73
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
第四天kafka知识 Producer基础的案例 1 Producer的小案例 电商系统，会员，凡是能登录的人都是会员。 你消费了多少钱，那么就给给你累计多少积分。 比如，你消费了1000块钱，那么同时给你找个会员号1000积分 1.1 在kafka里面，我们发送消息的时候，可以给消息指定key，也 ...
分类：
其他好文 时间：
2020-06-23 01:14:29
阅读次数：
76
#param comment(lib, "version.lib") CString &CMonitorManagerDlg::GetApplicationVersion(CString &strVersion){ char cPath[200]; DWORD dwHandle,InfoSize; ...
分类：
系统相关 时间：
2020-06-22 20:48:34
阅读次数：
48
一、Kafka持久化概述 Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供优异的性能？实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点： 对象的内存开销非常高，通常是要存储的数据的两倍甚至更高 随着堆内数据的增加 ...
分类：
其他好文 时间：
2020-06-22 18:56:23
阅读次数：
70
1. kernel_top_show //显示cpu top usage, 类似于用top命令看到的信息。 2. print_active_wakeup_sources //显示active wakeup sources, 也就是kernel层的持锁，能明确知道是什么锁block了系统进入suspe ...
分类：
其他好文 时间：
2020-06-22 18:44:09
阅读次数：
119
恢复内容开始 kafka源码解读 一. 概述 1.前言 在大数据的场景里面如何应对数据激增，数据复杂度增加以及数据变化速率变快，这都是体现了大 数据架构师，Java架构师的功力。而Kafka能很好的解决这些问题。 Kafka的源码是众多开源的技术里面代码质量比较高的一个，所以本身研究它的源码就比较有 ...
分类：
其他好文 时间：
2020-06-22 12:49:59
阅读次数：
79
Kafka架构在硬件选择方面，以重要性顺序考虑以下4点： 1) 磁盘（最重要）。影响最大的事生产者，读写速度。需参考多个分区、多个目录，如一个分区每天生产1TB数据，10天就是10GB，再乘以分区数量。 2）网络。生产者、消费者写入、读取速度 3）内存。影响消费者，因为生产者如果写不了内存可以写磁盘 ...
分类：
其他好文 时间：
2020-06-22 01:34:55
阅读次数：
49
@echo offset targ=D:\video\set link=D:\testlink\mkdir %link%for /d %%i in (%targ%*) do (mklink /d "%link%%%~ni" %%i) 保存bat执行。 效果是在D:\testlink\中创建D:\vi ...
分类：
其他好文 时间：
2020-06-22 01:16:42
阅读次数：
78
