前言 Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台。 Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口，这一点和FaceBook开源的Hive一 ...
分类：
其他好文 时间：
2017-11-05 15:08:00
阅读次数：
161
CentOS7使用Elasticsearch+Logstash+kibana快速搭建日志分析平台介绍：安装logstash,elasticsearch,kibana三件套，搜索程序一般由索引链及搜索组件组成。索引链功能的实现需要按照几个独立的步骤依次完成：检索原始内容、根据原始内容来创建对应的文档、对创建的文档进行索引。..
分类：
其他好文 时间：
2017-11-05 01:13:42
阅读次数：
327
一、关于Pig：别以为猪不能干活 1.1 Pig的简介 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编 ...
分类：
其他好文 时间：
2017-11-03 13:00:23
阅读次数：
163
环境：OS：Centos6.6elasticsearch-5.6.3.tar.gzjdk-8u151-linux-x64.tar.gzkibana-5.6.3-linux-x86_64.tar.gzlogstash-5.6.3.tar.gznode-v6.11.4-linux-x64.tar.xz一、准备环境：1、创建用户，并给安装目录设置权限[root@1inux~]#groupaddelk
[root@1inux~]#useradd-gelkelk
[..
分类：
其他好文 时间：
2017-10-26 10:23:39
阅读次数：
286
利用ELK+redis搭建一套nginx日志分析平台。logstash,elasticsearch,kibana怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后分析使用elasticsearch..
分类：
其他好文 时间：
2017-10-15 17:51:20
阅读次数：
219
网易阴阳师APP案例分析，平台ios 第一部分 调研 1个人上手体验 应用截图 第一次玩阴阳师给我的感觉就是哇这个游戏画面可以做到这么精美，人物的技能动作华丽，还可以控制技能释放，有一定的对抗性和策略性，而且整个游戏的音乐以及配音都十分出色，游戏难度适中，总的来说是一款非常不错的手游。 2游戏bug ...
分类：
其他好文 时间：
2017-10-03 18:59:47
阅读次数：
200
再记录一下elk的搭建，个人觉得挺麻烦的，建议还是在linux系统下搭建，性能会好一些，但我是在windows下搭建的，还是记录一下吧，像我这种记性差的人还是得靠烂笔头 简介： ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成： Elasticsearch是个开源 ...
基本结构其实没什么高深的东西，无非是常用的那一套：pandas,numpy,matplotlib…但是为了更方便使用，加持了jupyternotebook（即以前的ipythonnotebook）……又为了更方便使用，前端加了nginx或apache反代……双为了更安全，加持了Let’sEncrypt的HTTPS（只是这台服务器没有80..
分类：
编程语言 时间：
2017-09-21 15:49:11
阅读次数：
136
此片文章简单介绍如何在kinaba 上画图。 如果你，还没有搭建ELK 请参考：ELK日志分析平台搭建全过程 本文参考：http://www.cnblogs.com/hanyifeng/p/5860731.html 一、Kibana之Visualize 功能 在首页上Visualize 标签页用来设 ...
分类：
其他好文 时间：
2017-09-15 20:23:56
阅读次数：
440
