本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！ ...
分类：
Web程序 时间：
2020-01-10 01:08:26
阅读次数：
133
shell系统监控及日志分析 系统监控: CPU相关信息在/proc/stat 内存/proc/meminfo 流量监控proc/net/dev 磁盘io/proc/vmstat 脚本代码 1 #!/bin/bash 2 #监控linux主机系统信息 3 #导入工具模块 4 source utils ...
分类：
系统相关 时间：
2020-01-09 20:31:44
阅读次数：
125
1 序 对ETL系统中数据转换和存储操作的相关日志进行记录以及实时分析有助于我们更好的观察和监控ETL系统的相关指标（如单位时间某些操作的处理时间），发现系统中出现的缺陷和性能瓶颈。 由于需要对日志进行实时分析，所以Storm是我们想到的首个框架。Storm是一个分布式实时计算系统，它可以很好的处理 ...
分类：
其他好文 时间：
2020-01-06 22:42:07
阅读次数：
78
在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的Filebeat+ELK开源实时日志分析平台的记录过程，有不对的地方还望指出。 简单介绍： 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发 ...
分类：
其他好文 时间：
2020-01-06 11:11:33
阅读次数：
114
课程介绍:分布式大数据处理系统架构中，消息中间件是必不可少的组件，本课程主要讲解如何基于Python和常用消息中间件快速开发大数据处理平台，并且结合实际应用场景，从零开始搭建一套完整的分布式日志分析告警系统。课程目录:01-消息中间件初识.mp402-常见消息中间件比较.mp403-消息中间件常见概 ...
分类：
编程语言 时间：
2020-01-06 09:53:17
阅读次数：
125
php是一门单进程弱类型的语言，PHP处理多并发主要是依赖服务器或PHP-FPM的多进程及它们进程的复用，多进程的作用优点大家可以去网上了解，PHP实现多进程在实际项目中意义也是不容小觑的。比如：日常任务中，有时需要通过php脚本执行一些日志分析，队列处理等任务，当数据量比较大时，可以使用多进程来处 ...
分类：
Web程序 时间：
2020-01-05 22:20:57
阅读次数：
107
docker：搭建ELK 开源日志分析系统 ELK 是由三部分组成的一套日志分析系统， Elasticsearch: 基于json分析搜索引擎,Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片， 索引副本机制，restful风格接口，多数据源，自动 ...
分类：
其他好文 时间：
2020-01-02 18:45:00
阅读次数：
133
1 环境说明 1.1 MyCat 使用MyCat 1.5 ALPHA版本 ，下载地址：http://www.mycat.org.cn/ 《Mycat 权威指南》 ：http://pan.baidu.com/s/1c0QnQBA 本案例使用Windows7 环境，与 Linux 或 Mac 操作基本一 ...
分类：
数据库 时间：
2019-12-31 14:09:03
阅读次数：
96
[TOC] 1、GoAccess是什么 GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具，通过你的 Web 浏览器或者 nix 系统下的终端程序(terminal)即可访问。 能为系统管理员提供快速且有价值的 HTTP 统计，并以在线可视化服务器的方式呈现。 2、为什么要 ...
分类：
数据库 时间：
2019-12-29 14:54:27
阅读次数：
95
简介日志服务器提高安全性集中存放日志缺陷：对日志的分析困难ELK日志分析系统Elasticsearch：存储，索引池Logstash：日志收集器Kibana：数据可视化日志处理步骤1，将日志进行集中化管理2，将日志格式化（Logstash）并输出到Elasticsearch3，对格式化后的数据进行索引和存储（Elasticsearch）4，前端数据的展示（Kibana）Elasticsearch的
分类：
其他好文 时间：
2019-12-26 14:52:46
阅读次数：
98
