码迷,mamicode.com
首页 >  
搜索关键字:agents flume    ( 1276个结果
分布式服务:Dubbo+Zookeeper+Proxy+Restful
分布式 分布式服务:Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件:KafKa+Flume+Zookeeper 分布式缓存:Redis 分布式文件:FastDFS 负载均衡:Keepalived+Nginx+Proxy(三重负载) JEESZ UI 基于Bootstra ...
分类:其他好文   时间:2017-05-16 10:57:42    阅读次数:165
flume集群日志收集
一、Flume简介 Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统,支持在日志系统中定制各类数据发送方(如:Kafka,HDFS等),便于收集数据。其核心为agent,agent是一个java进程,运行在日志收集节点。 agent里面包含3个核心组件:source、chann ...
分类:Web程序   时间:2017-05-14 21:37:29    阅读次数:342
Spark使用CombineTextInputFormat缓解小文件过多导致Task数目过多的问题【转】
转自:http://www.cnblogs.com/yurunmiao/p/5195754.html 目前平台使用Kafka + Flume的方式进行实时数据接入,Kafka中的数据由业务方负责写入,这些数据一部分由Spark Streaming进行流式计算;另一部分数据则经由Flume存储至HDF ...
分类:Web程序   时间:2017-05-14 15:26:39    阅读次数:365
Binary Agents
传入二进制字符串,翻译成英语句子并返回。 二进制字符串是以空格分隔的。 如果你被卡住了,记得开大招 Read-Search-Ask。尝试与他人结伴编程、编写你自己的代码。 这是一些对你有帮助的资源: String.charCodeAt() String.fromCharCode() 思路就是先把二进 ...
分类:其他好文   时间:2017-05-14 13:45:39    阅读次数:132
KafKa+Zookeeper+Flume部署脚本
喜欢学习的朋友可以收藏 愿意了解框架技术或者源码的朋友直接加求求(企鹅):2042849237 ...
分类:Web程序   时间:2017-05-11 16:58:53    阅读次数:169
Flume搭建及学习(基础篇)
转载请注明原文出处:http://www.cnblogs.com/lighten/p/6830439.html 1.简介 该文主要是翻译官方的相关文档,源地址点击这里。介绍一下Flume的一些基本知识和搭建方法。 Apache Flume是一种分布式,可靠和可用的系统,用于高效收集,聚合和将许多不同 ...
分类:Web程序   时间:2017-05-10 09:42:55    阅读次数:241
js判断客户端是pc还是手机
function IsPC() { var userAgentInfo = navigator.userAgent; var Agents = ["Android", "iPhone", "SymbianOS", "Windows Phone", "iPad", "iPod"]; var flag ...
分类:移动开发   时间:2017-05-09 15:45:25    阅读次数:218
<Spark Streaming><Flume><Integration>
Overview Flume:一个分布式的,可靠的,可用的服务,用于有效地收集、聚合、移动大规模日志数据 我们搭建一个flume + Spark Streaming的平台来从Flume获取数据,并处理它。 有两种方法实现:使用flume-style的push-based方法,或者使用自定义的sink ...
分类:Web程序   时间:2017-05-09 12:32:54    阅读次数:218
Flume总结(1)
一、日志采集:从网络端口接收数据,下沉到logger 文件netcat-logger.conf: 启动命令:#告诉flum启动一个agent,指定配置参数, --name:agent的名字,flume-ng agent --conf conf --conf-file conf/netcat-logg ...
分类:Web程序   时间:2017-05-08 16:07:49    阅读次数:186
运维之我的docker-使用ELK处理docker日志
因为docker产生的容器不是一个永久存储的文件,所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd,flume,logstash等工具传送到一个日志仓库,这样保证方便保证数据的安全和管理。由于docker官方的推荐,我们本次讲解是fluentd日志收集组件。具体使用如下:..
分类:其他好文   时间:2017-05-05 23:15:08    阅读次数:1798
1276条   上一页 1 ... 59 60 61 62 63 ... 128 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!