filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
KafKa+Zookeeper+Flume部署脚本 愿意了解框架技术或者源码的朋友直接求求交流分享技术：2042849237 ...
分类：
Web程序 时间：
2017-07-26 13:35:55
阅读次数：
161
{ var userAgentInfo = navigator.userAgent; var Agents = new Array("Android", "iPhone", "SymbianOS", "Windows Phone", "iPad", "iPod"); var flag = true; ...
分类：
移动开发 时间：
2017-07-24 13:23:41
阅读次数：
226
在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。 日志采集框架Flume Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和 ...
分类：
Web程序 时间：
2017-07-21 23:25:52
阅读次数：
310
https://www.visualstudio.com/zh-cn/docs/build/actions/agents/v2-windows <!-- react-text: 6 -->Last Update: <!-- /react-text --><!-- react-text: 7 --> ...
一.什么是实时计算系统?(流式计算)1.离线计算和实时计算 离线计算 实时计算(流式计算) 典型代表 mapReduce Apache Strom，Spark Streaming 和JStream 数据 HDFS上 实时数据 采集数据 Sqoop(批量导入) Flume进行采集 保存结果 HDFS ...
分类：
Web程序 时间：
2017-07-15 10:04:17
阅读次数：
253
Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Ap ...
分类：
其他好文 时间：
2017-07-12 12:08:24
阅读次数：
508
icinga2通过check_hpasm监控HP服务器硬件报警：https://labs.consol.de/nagios/check_hpasm/#download被监控服务器需安装hp-snmp-agents#dpkg-ihp-snmp-agents_10.40-2909.34_amd64.deb#/sbin/hpsnmpconfig输入y（即使用已有/etc/snmp/snmpd.conf配置）#tarzxfvcheck_hpasm-4.7..
分类：
其他好文 时间：
2017-07-01 10:05:19
阅读次数：
163
一、下载zabbix_agents_3.0.4.win.zip 修改三个参数： #查看windows主机名称： #启动zabbix-agent服务 开始 >运行：cmd （记得以管理员身份运行，否则会造成服务无法成功启动） #把服务设置为开机自动启动 #查看zabbix-agnet端口：10050 ...
转自：http://blog.csdn.net/wzy0623/article/details/73650053 一、为什么要用到Flume 在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置 ...
分类：
数据库 时间：
2017-06-27 10:07:13
阅读次数：
935
