优先队列 主要用于:1.插入 2.删除最大元素 基于实现这两项功能,用二叉堆来实现, 分析: ____________MaxPQ<Key>implementsIterator<Key>_______________________ insert() delMax() 优先队列的2个主要功能 isEm ...
分类:
其他好文 时间:
2016-10-27 13:06:39
阅读次数:
164
单机运行 一、环境准备 Flume 1.6.0 Hadoop 2.6.0 Spark 1.6.0 Java version 1.8.0_73 Kafka 2.11-0.9.0.1 zookeeper 3.4.6 二、配置 spark和hadoop配置见() kafka和zookeeper使用默认配置 ...
分类:
其他好文 时间:
2016-10-26 20:25:10
阅读次数:
295
2016-10-2611:05:29,716WARN[flume_dx2.zdp.ol-1477451127056-e2015d55-leader-finder-thread]kafka.consumer.ConsumerFetcherManager$LeaderFinderThread(line89)[flume_dx2.zdp.ol-1477451127056-e2015d55-leader-finder-thread],FailedtofindleaderforSet([v4-avail-service..
分类:
Web程序 时间:
2016-10-26 17:13:06
阅读次数:
917
熟悉python对字符文本的分割和获取信息的方法。文章结构:(1)对ifconfig命令输出的信息,进行分析(2)用两种方法对输出实现分析,获取系统的ip信息,包括:网卡名,ip地址和MAC地址1.ifconfig命令输出信息分析先上图:如上图,我们需要统计的三个信息是网卡名,eth0,eth0:1,eth1..
分类:
编程语言 时间:
2016-10-25 03:09:57
阅读次数:
313
本文主要介绍WebRTC中的RTP/RTCP协议,作者:weizhenwei ,文章最早发表在编风网,微信ID:befoio 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn)。 一 前言 RTP/RTCP协议是流媒体通信 ...
分类:
移动开发 时间:
2016-10-21 10:24:31
阅读次数:
526
React-Native 渲染实现分析 前言 React Native与传统的HybirdApp最大区别就是抛开WebView,使用JSC+原生组件的方式进行渲染,那么整个App启动/渲染流程又是怎样的呢? React Native启动流程 首先从组件的角度来看下RN的启动流程:(Android为例 ...
分类:
其他好文 时间:
2016-10-21 01:15:40
阅读次数:
331
我们一起来了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 这个图中核心的组件是: Source,ChannelProcessor,Channel,Sink。他们的关系结构如下: Source { ChannelProcessor { Channel ch1 Chan ...
分类:
Web程序 时间:
2016-10-19 01:33:00
阅读次数:
196
在 http://flume.apache.org 上下载flume-1.6.0版本,将源码导入到Idea开发工具后如下图所示: 一、主要模块说明 flume-ng-channels 里面包含了filechannel,jdbcchannel,kafkachannel,memorychannel通道的 ...
分类:
Web程序 时间:
2016-10-19 01:25:56
阅读次数:
346
packagecn;
importjava.util.ArrayList;
importjava.util.Random;
/**
*获取10个1-20之间的随机数,要求不能重复
*
*用数组实现,但是数组的长度是固定的,长度不好确定。
*所以我们使用集合实现。
*
*分析:
* 1.创建产生随机数的对象
*2.创建一个存储随机数的集合
*3.定义..
分类:
其他好文 时间:
2016-10-17 00:49:58
阅读次数:
147
2016年大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析系统背景:用户使用终端设备(IPAD、手机、浏览器)等登录系统,系统采用js脚本发送用户信息和广告点击信息到后台日志,进入flume监控,通过kafka消息中间件传输数据,由SparkStreaming消费后将信息..
分类:
其他好文 时间:
2016-10-12 23:09:37
阅读次数:
162