需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
标题&作者团队 【Happy导语】这是今年CVPR2020中关于图像超分的文章，不同于其他方法在网络架构或者数据增广方面进行改进，该文另辟蹊径从“损失函数”入手，针对已有GAN系列的损失函数展开并未并提出了改进点。所提方法取得了NTIRE2020感知极限超分竞赛LPIPS指标亚军、PI指标冠军。所以 ...
分类：
其他好文 时间：
2020-06-26 22:03:48
阅读次数：
123
##监控介绍 ###1. 什么是监控 顾名思义，“监控”，可以理解为监视和控制。 比如说一个web网站服务，随着用户量的日益增加，可能就会导致系统oom（内存不够用了），也就是out of memory内存溢出，从而导致网站异常。 而且处于oom这个状态时，系统会kill掉一些占用内存多的服务，来释 ...
分类：
其他好文 时间：
2020-06-26 20:03:08
阅读次数：
51
https://www.cnblogs.com/biglucky/p/4305131.html 固定内存pinned memory,或者不可分页内存,它的一个重要特点是操作系统将不会对这块内存分页并交换到磁盘上,从而保证了内存始终驻留在物理内存中.也正因为如此,操作系统能够安全地使某个应用程序访问该 ...
分类：
其他好文 时间：
2020-06-26 18:41:57
阅读次数：
39
1、SEE：https://elasticsearch.cn/article/32 2、倒排词典的索引需要常驻内存，无法 GC，需要监控 data node 上 segment memory 增长趋势。 3、各类缓存，field cache, filter cache, indexing cache ...
分类：
其他好文 时间：
2020-06-26 10:56:28
阅读次数：
70
数据生产 1 import java.io.*; 2 import java.text.DecimalFormat; 3 import java.text.ParseException; 4 import java.text.SimpleDateFormat; 5 import java.util. ...
分类：
移动开发 时间：
2020-06-26 10:34:29
阅读次数：
86
词法分析（lexical analysis）：将字符序列转换为单词（Token）序列的过程 分词，命名实体识别，词性标注 并称 汉语词法分析“三姐妹”。 在线演示平台：http://ictclas.nlpir.org/nlpir/ 词性标注（Part-Of-Speech tagging, POS t ...
分类：
其他好文 时间：
2020-06-26 01:03:06
阅读次数：
93
前言从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构(SMP：Symmetric Multi-Processor)，非一致存储访问结构(NUMA：Non-Uniform Memory Access)，以及海量并行处理结构(MPP：Massive Parallel Processi... ...
分类：
其他好文 时间：
2020-06-25 21:37:18
阅读次数：
95
def reduce_mem_usage(df): """ iterate through all the columns of a dataframe and modify the data type to reduce memory usage. """ start_mem = df.memor ...
分类：
其他好文 时间：
2020-06-25 21:10:13
阅读次数：
70
词法分析（lexical analysis）：将字符序列转换为单词（Token）序列的过程 分词；词性标注；实体识别 这一部分是NLP的基础，应该是入门就要了解的内容。 所谓分词，就是断句，把一条句子断开；要求断的比较碎，每个词都断开；要断的正确，也就是每个词都是有意义的，符合逻辑。 有个注明分词工 ...
分类：
其他好文 时间：
2020-06-25 19:24:50
阅读次数：
59
