其实现原理有点类似ELK。node-exporter组件负责收集节点上的metrics监控数据，并将数据推送给prometheus, prometheus负责存储这些数据，grafana将这些数据通过网页以图形的形式展现给用户。 grafana+普罗米修斯全部集成在k8s内部的方式，用pod和svc... ...
分类：
其他好文 时间：
2019-07-10 20:09:09
阅读次数：
343
一．什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。Kafka使用场景：1 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放 ...
分类：
其他好文 时间：
2019-07-05 00:26:24
阅读次数：
103
架构图 考虑到日志系统的可扩展性以及目前的资源（部分功能复用），整个ELK架构如下： 架构解读 : （整个架构从左到右，总共分为5层） 第一层、数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务（2.187、2.189） 第 ...
分类：
其他好文 时间：
2019-07-04 17:38:00
阅读次数：
181
大数据之心 关注 0.6 2017.02.22 15:36* 字数 2158 阅读 16457评论 7喜欢 9 大数据之心 关注 0.6 2017.02.22 15:36* 字数 2158 阅读 16457评论 7喜欢 9 0.6 2017.02.22 15:36* 字数 2158 阅读 16457 ...
分类：
其他好文 时间：
2019-07-04 17:15:56
阅读次数：
155
解压 配置 添加环境变量 创建普通用户授权并启动 kibana的解压 测试数据下载地址：https://grouplens.org/datasets/movielens/ logstash 的安装与导入数据 ...
分类：
其他好文 时间：
2019-07-04 14:11:03
阅读次数：
233
系统运维的过程中，每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人 ...
分类：
其他好文 时间：
2019-07-04 09:27:39
阅读次数：
137
一、安装jdk 上传安装包并解压：tar -zxvf 。。。 配置环境变量： 在配置文件中添加如下配置信息：vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_191 export PATH=$JAVA_HOME/bin:$PATH export ...
分类：
其他好文 时间：
2019-07-01 14:01:38
阅读次数：
383
原文:开源日志收集Exceptionless简单使用这两天在研究一个开源的日志收集工具Exceptionless 官网地址：https://exceptionless.com/GitHub地址：https://github.com/exceptionless/Exceptionless 官网为我们提... ...
分类：
其他好文 时间：
2019-06-30 00:07:03
阅读次数：
73
日志 ? K8S系统的组件日志 ? K8SCluster里面部署的应用程序日志 方案一:Node上部署一个日志收集程序 ? DaemonSet方式部署日志收集程序 ? 对本节点/var/log和 /var/lib/docker/containers/ 两个目录下的日志进行采集 方案二:Pod中附加专 ...
分类：
其他好文 时间：
2019-06-29 10:35:00
阅读次数：
95
下载flume： 1.官方网站下载： http://flume.apache.org/download.html 2.百度网盘资源: apache-flume-1.9.0-bin.tar 链接：https://pan.baidu.com/s/1gzTOfiSkvY3nsXap8kj6-Q 提取码：e ...
分类：
Web程序 时间：
2019-06-28 23:02:19
阅读次数：
189
