培训大数据架构开发！ 从零基础到高级，一对一培训！[技术QQ：2937765541] 课程体系： 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 ...
分类：
Web程序 时间：
2016-04-11 01:32:22
阅读次数：
260
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据； 同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 (1) 可靠性 end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如 ...
分类：
Web程序 时间：
2016-04-09 20:39:32
阅读次数：
308
本次模拟系统，是利用Hadoop等组件来模拟巨型日志的处理系统，包括Python定时、Flume收集日志、MR处理日志、Sqoop导出数据、Hive的简单统计等...
分类：
其他好文 时间：
2016-04-09 17:03:16
阅读次数：
267
常用的分布式日志收集系统 一：flume概述参考官方网址：http://flume.apache.org/documentation.htmlflume是一个分布式的数据收集系统，具有高可靠、高可用、事务管理、失败重启等功能。数据处理速度快，完全可以用于生产环境。flume的核心是agent。age ...
分类：
Web程序 时间：
2016-04-08 14:49:00
阅读次数：
169
作为一个messaging system，Kafka遵循了传统的方式，选择由producer向broker push消息并由consumer从broker pull消息。一些logging-centric system，比如Facebook的Scribe和Cloudera的Flume,采用非常不同的 ...
分类：
其他好文 时间：
2016-04-06 23:03:53
阅读次数：
297
W3C HTML 4.01 规范规定，alt 属性指定了在 User Agents 不能显示图片、表单和 applets 的时候显示的替换文字。alt 属性在 IE6 IE7 IE8(Q) 下具有双重意义。在给 IMG、AREA、INPUT[type=image] 元素设置的 alt 属性值不但可以 ...
分类：
其他好文 时间：
2016-04-03 23:53:39
阅读次数：
265
Flume在企业大数据仓库架构中位置及功能hadoop数据仓库flume数据仓库架构1、如下图所示，外部数据中，关系型数据库导入到HDFS用sqoop，由Nginx产生的文件实时监控用Flume获得。在HDFS或Hbase中，如果要进行实时查询用Impala（内存），如果是分析可以用Hive，Map... ...
分类：
Web程序 时间：
2016-04-01 06:33:43
阅读次数：
452
#tail/var/log/messages配置都对但是nginx报错，修改nginx的配置即可
Mar3109:34:47FrankTest02IPaddr(IPaddr_192.168.1.150)[11820]:INFO:/usr/libexec/heartbeat/send_arp-i200-r5-p/var/run/resource-agents/send_arp-192.168.1.150eth0192.168.1.150autonot_usednot_used
M..
分类：
其他好文 时间：
2016-03-31 15:04:04
阅读次数：
2428
1.Spark Streaming是什么 Spark Streaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源，例如kafka，Flume，Twitter，ZeroMQ或者TCP Socket等。在这个框架下，支持对流数据的各种运算，比如map，red ...
分类：
其他好文 时间：
2016-03-27 14:05:50
阅读次数：
453
由于刚刚完成自动部署Jenkins平台的windows节点服务，今天在此记录一下整个过程，以便参考大的步骤一共有三步：一Jenkins平台加入windows的节点这一步骤我消耗了挺长时间研究，我博文有篇转载的，里面叙述了创建windows节点的方法，但是我并没有使用它的方法，不知道是否可以成..
分类：
Windows程序 时间：
2016-03-11 17:15:36
阅读次数：
1802
