网站数据统计分析工具是网站站长和运营人员经常使用的一种工具，比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理，并一步一步实际搭建一个实际的数据收集系统。 数据收 ...
分类：
Web程序 时间：
2017-12-08 16:33:49
阅读次数：
190
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux, Solaris, HP-UX, AIX, Free BSD, Open BSD, OS X等平台上。Zabbix Server必须安装在Linux系统上，但Zabbix agent则有适应各种操作系统的版本。
分类：
系统相关 时间：
2017-12-05 12:01:29
阅读次数：
215
前面我们学的ELK中用filebeat收集docker容器日志，利用的是dcoker默认的logging driver json-file，下面我们用fluentd来收集容器日志 Fluentd是一个开源的数据收集器，他目前又超过500种的plugin，可以连接各种数据源和数据输出组件。 实践： f ...
分类：
其他好文 时间：
2017-12-01 22:06:56
阅读次数：
545
课程大纲:需求分析1、项目背景2、总体业务要求3、难点分析 数据收集1、数据采集阶段技术对比2、项目中数据采集技术Kafka3、Kafka安装及基本操作4、Kafka的API操作及项目中应用 数据流处理1、数据实时处理阶段技术拓展Storm2、Spark Streaming实用项目解决方案3、Spa ...
分类：
其他好文 时间：
2017-12-01 18:39:32
阅读次数：
459
到现在为止，我已经学习了docker自带的监控方案：ps/ls/top/stats，以及sysdig，weave scope，cadvisor，prometheus多种监控工具，现在做个总结和比较 部署容易度： ps/ls/top/stats肯定是最容易部署的了，毕竟是docker 自带的命令，能随 ...
分类：
其他好文 时间：
2017-11-29 20:51:47
阅读次数：
173
序言 Prometheus是一个开源的监控系统，拥有许多Advanced Feature，他会定期用HTTP协议来pull所监控系统状态进行数据收集，在加上timestamp等数据组织成time series data，用metric name和label来标识不同的的time series,用户可 ...
分类：
其他好文 时间：
2017-11-23 08:16:52
阅读次数：
715
摘自：https://flume.apache.org/FlumeUserGuide.html 是什么： Flume是一个用来收集聚合海量多来源日志数据并转移到一个数据存储中心的分布式，可依赖，高可用，高性能服务框架。他基于流数据提供简单灵活的架构。具有健壮性，容错性。他提供了一个简单可扩展的数据模 ...
分类：
Web程序 时间：
2017-11-22 17:47:36
阅读次数：
224
第15章 大数据与MapReduce 大数据 概述 大数据: 收集到的数据已经远远超出了我们的处理能力。 大数据 场景 MapRedece Hadoop 概述 MapRedece 原理 MapRedece 工作原理 主节点控制 MapReduce 的作业流程 MapReduce 的作业可以分成map ...
分类：
其他好文 时间：
2017-11-13 16:40:09
阅读次数：
404
Graylog是与ELK可以相提并论的一款集中式日志管理方案，支持数据收集、检索、可视化Dashboard。本节将实践用Graylog来管理Docker日志。Graylog架构Graylog架构如下图所示：Graylog负责接收来自各种设备和应用的日志，并为用户提供Web访问接口。Elasticsearch用于索引和保存Gray..
分类：
其他好文 时间：
2017-11-10 12:49:51
阅读次数：
234
前面的ELK中我们是用Filebeat收集Docker容器的日志，利用的是Docker默认的loggingdriverjson-file，本节我们将使用fluentd来收集容器的日志。Fluentd是一个开源的数据收集器，它目前有超过500种的plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd会负责收..
分类：
其他好文 时间：
2017-11-08 10:28:37
阅读次数：
109
