利用一个spark receiver 接收多个flume agentString host = args[0];
int port = Integer.parseInt(args[1]);
String host1 = args[2];
int port1 = Integer.parseInt(args[3]); InetSocketAddress address1 = new Ine...
分类:
Web程序 时间:
2015-04-08 18:09:37
阅读次数:
195
You are the King of Byteland. Your agents have just intercepted a batch of encrypted enemy messages concerning the date of the planned attack on your island. You immedietaly send for the Bytelandian Cr...
分类:
编程语言 时间:
2015-04-08 09:19:02
阅读次数:
188
YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程:ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址:Resource..
分类:
其他好文 时间:
2015-04-07 19:59:25
阅读次数:
305
HDFS的Shell操作与管理6.1启动HDFSStep01:格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明:namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID:bin/hdfsnamenode–format–clusteridyarn-clusterStep02:启动Nam..
分类:
系统相关 时间:
2015-04-07 19:58:53
阅读次数:
326
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍:http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类:
Web程序 时间:
2015-04-07 19:58:46
阅读次数:
183
2.1下载地址1、ApacheHadoop(100%永久开源)下载地址:-http://hadoop.apache.org/releases.html-SVN:http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH(ClouderaDistributedHadoop,100%永久开源)下载地址:-http://archive.cloudera.com/cdh4/cdh/4/(是ta..
分类:
其他好文 时间:
2015-04-07 19:58:25
阅读次数:
363
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务进行分析,如果使用的是其他组件,Flume事务具体的处理方式将会不同。一般情况下,用MemoryChannel就好了,我们公司用的就是这个,FileChannel速度慢,虽然提供日志级别...
分类:
Web程序 时间:
2015-04-01 17:21:22
阅读次数:
194
Mysql使用Galera做Active/Active集群,同时使用Pacemaker,因为Galera mysql用到了领导机选举机制quorum,所以控制节点至少三个RabbitMQ使用mirrored queues,运行在Active/Active模式有状态服务如neutron agents使...
分类:
其他好文 时间:
2015-04-01 12:38:45
阅读次数:
295
分布式数据收集flume-ng的spoolDir监控使用中的坑。。。。。...
分类:
Web程序 时间:
2015-03-31 18:07:14
阅读次数:
262
//判断是否移动端 function isPhone() { var ua = navigator.userAgent.toLowerCase(), Agents = ["android", "iphone", "symbianos", "win...
分类:
移动开发 时间:
2015-03-30 12:55:49
阅读次数:
184