第1章 大数据概述本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理过程中涉及到的技术以及大数据典型应用。第2章 初识Hadoop本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史 ...
分类：
其他好文 时间：
2019-03-10 09:33:09
阅读次数：
729
搜狗搜索日志分析系统 前奏：请提前搭建好你的集群和必要的软件:hadoop + jdk + hive + Sqoop + HBase； 数据（链接是网友的，感谢，感谢，感谢。里面有测试数据）：链接：http://pan.baidu.com/s/1dFD7mdr 密码：xwu8 一：数据预处理（Lin ...
分类：
其他好文 时间：
2019-03-08 17:08:46
阅读次数：
273
1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分 ...
分类：
其他好文 时间：
2019-03-08 16:40:16
阅读次数：
237
0x00 前言 ARP病毒并不是某一种病毒的名称，而是对利用arp协议的漏洞进行传播的一类病毒的总称，目前在局域网中较为常见。发作的时候会向全网发送伪造的ARP数据包，严重干扰全网的正常运行，其危害甚至比一些蠕虫病毒还要严重得多。 0x01 应急场景 某天早上，小伙伴给我发了一个微信，说192.16 ...
crontab配置 1、命令功能 通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。 2、安装crontab yum install cr ...
分类：
系统相关 时间：
2019-02-26 23:38:39
阅读次数：
246
日志分两类，一类是 Docker 引擎日志；另一类是 容器日志。 Docker 引擎日志 Docker 引擎日志 一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/dock ...
分类：
其他好文 时间：
2019-02-26 15:20:42
阅读次数：
227
下载：wget percona.com/get/percona-toolkit.tar.gz mv percona-toolkit-3.0.13 /usr/local/percona-toolkit/ 2.用法简介 慢查询日志分析 3.pt-query-digest语法及重要选项 分析指定时间段 p ...
分类：
其他好文 时间：
2019-02-24 18:44:18
阅读次数：
188
/var/log/cron：记录crond计划任务相关的时间信息；一、内核及系统日志分析/var/log/messages：记录Linux内核消息及各种应用程序的公共日志信息，包括启动、I/O错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以在该日志文件中获得相关信息。/var/log/dmesg：记录Linux操作系统在引导过程中的各种事件信息；/var/log/ma
分类：
系统相关 时间：
2019-02-22 10:38:08
阅读次数：
203
很久前写的一篇文章，发出来以作纪念：） Android中一个有趣的crash的日志分析 首先看看bugly平台中异常的统计信息，表面上是一个NullPointerException： 发生异常设备统计信息如下图，有意思的是全部都是root过的机器： 接下来看跟踪日志，在最下面可以看到这样的日志，抛出 ...
分类：
移动开发 时间：
2019-02-19 10:20:17
阅读次数：
252
ELK 日志分析系统 ELK 日志分析系统 1.0 ELK 介绍 1.1 ELK 安装准备工作 1.2 es 安装 1.3 es配置 1.4 es测试 1.5 Kibana安装 1.6 logstash安装 ... ...
分类：
其他好文 时间：
2019-02-17 12:28:35
阅读次数：
109
