引言 最近逛 nmon 官网时，发现了一个新工具 njmon，功能与 nmon 类似，但输出为 JSON 格式，可以用于服务器性能统计。 可以使用 njmon 来向 InfluxDB 存储服务器性能统计数据，再通过 Grafana 实时读取展示，来实现性能测试过程中的实时可视化监控服务器性能指标的目 ...
分类：
数据库 时间：
2020-03-17 08:01:34
阅读次数：
168
一、题目要求 说明：这里我只展示爬取数据的代码，将可视化结果与统计数据结合，实时显示当前最新数据只需将这篇博客代码和我那篇使用Echarts可视化数据库数据结合即可 二、思路 同学思路：我的大部分同学思路是使用HttpClient+Jsoup获取并解析目标页面的数据，然后调用Dao层中的方法将数据筛 ...
分类：
数据库 时间：
2020-03-16 23:51:46
阅读次数：
117
前言今天写点有趣的小东西。事情是这样的，我经常看到有些软件加了统计数据的sdk，之后就可以实现统计接口的访问量，接口负载等等数据。而这些功能不需要原有的软件做些什么，对原来的业务完全无***，我觉得这样的功能很有实用性，所以没有参考其他类似的软件或者工具，我想自己试试怎么实现这样的功能。思路首先，我们先给要做的工具起个名字，就叫monitor。要实现无侵入，那么只能是在业务软件外面套一层，经由业务软
工作中经常遇到运营同学需要统计数据，需要从各种表里查询出来各种数据做组织和合并处理，了解了这些命令处理表格就非常简单高效。而且处理的速度比写各种复杂的SQL要高效的多。当然了，只能处理CSV数据。 几个基础命令 sort 排序命令 uniq 唯一命令 | sort 参数 | 说明 | | | | | ...
分类：
其他好文 时间：
2020-03-14 20:28:17
阅读次数：
85
获取每一天的统计数据做项目的时候需要统对项目日志做分析，其中有一个需求是获取某个给定的时间段内，每一天的日志数据，比如说要获取从2018-02-02 09:18:36到2018-03-05 23:18:36这个时间段内，统计出每一天的日志数据，一般情况下，看到这种需求都是考虑使用函数来搞定，直接上s ...
分类：
数据库 时间：
2020-03-07 09:46:51
阅读次数：
150
大数据分析处理基本流程 数据准备 数据获取（爬虫，统计） 数据清洗（获得想要的数据，去除无用的相关数据） 特征工程 特征提取 比如我爬下网页，网页中有图片，视频，文本信息，url等等之类的特征消息 特征选择 网页保存这学生的信息，我想要计算每个学生的BMI（身体质量指数），而这类信息是在网页中的文本 ...
分类：
其他好文 时间：
2020-03-07 09:34:06
阅读次数：
186
实时监控-CPU: mpstat:最大的特点是:可以查看多核cpu中每个计算核心的统计数据.语法 mpstat [-P{|ALL}] [internal [count]] mpstat参数: –P {|ALL} 表示监控哪个CPU,cpu在[0,cpu个数-1]中取值 Internal 相邻的两次采 ...
分类：
其他好文 时间：
2020-03-06 15:18:52
阅读次数：
67
别说3-5年，未来30年都可以只投医药行业，从过去几年几百家医院的统计数据知道大内科的药物的需求增 加的很厉害。原因是50年代和60年代出生的人口到了得病的年龄了，而且这两个年代的人人口基数很大， 有4亿人之多，未来平均再活30年会有很大的医药的刚需，这些看不好的慢性病是无法治疗的只能通过每天 服用 ...
分类：
其他好文 时间：
2020-03-02 01:19:29
阅读次数：
97
1.官网地址：https://portal.influxdata.com/downloads/#influxdb 2.相关软件介绍 （1）telegraf 一个用Go语言编写的代理程序，可收集系统和服务的统计数据，并写入到influxdb数据库，内存占用小，通过插件系统可轻松添加支持其他服务的扩展。 ...
分类：
数据库 时间：
2020-03-01 00:28:39
阅读次数：
337
需求背景业务系统将各类的报表和统计数据存放于ES中，由于历史原因，系统每天均以全量方式进行统计，随着时间的推移，ES的数据存储空间压力巨大。同时由于没有规划好es的索引使用，个别索引甚至出现超过最大文档数限制的问题，因此我们需要最小的代价来解决这个问题。下面以内网开发、测试环境举例使用python脚本解决这个问题。EachElasticsearchshardisaLuceneindex.There
分类：
编程语言 时间：
2020-02-21 18:33:04
阅读次数：
275
