Trident:IE、360 IE、Maxthon(遨游)、腾讯 、Theworld世界之窗、360浏览器,代表作品IE,因为IE捆绑在Windows中,所以占有极高的市场份额,又称IE内核或是MSHTML,此内核只能应用于windows平台,且是不开源的。 Gecko:Firefox 代表作品Mo ...
分类:
其他好文 时间:
2018-06-15 16:11:06
阅读次数:
165
一、Storm介绍 1、Storm是Twitter开源的一个分布式的实时计算系统,用于数据的实时分析,持续计算,分布式RPC。 ①官网地址:http://storm-project.net ②源码地址:https://github.com/nathanmarz/storm 2、实时计算需要解决一些什 ...
分类:
其他好文 时间:
2018-06-13 11:30:10
阅读次数:
187
一:介绍 1.说明 Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返回值作为topology的输出流。 2.工作机制 Distributed RPC是由一个”DPR ...
分类:
其他好文 时间:
2018-06-12 23:30:05
阅读次数:
275
1.使用的类 2.使用HBaseMapState 3.使用状态管理 使用的状态管理还要看Spout StateFactory factory1 = HBaseMapState.opaque(opts1); 4.服务 需要Kafka,zookeeper 然后Hbase,前提需要Hadoop 5.主驱动 ...
分类:
其他好文 时间:
2018-06-11 23:35:42
阅读次数:
305
1.下载 wget https://archive.apache.org/dist/storm/apache storm 0.9.6/apache storm 0.9.6.tar.gz 2.解压 tar zxvf apache storm 0.9.6.tar.gz C install/ mv apa ...
分类:
其他好文 时间:
2018-06-11 14:00:33
阅读次数:
154
Kafka+Zookeeper+Storm的docker化因为项目需要,需要把kafka、zookeeper、storm等服务组件docker化,在借鉴相关的开源dockerfile文件后,终于完成,以此记录。1.首先是建立基础的Linux镜像,针对本项目做了定制。FROMcentosMAINTAINERcc.zhang1024@gmail.comCOPYjq/usr/bin/RUNyumupda
分类:
其他好文 时间:
2018-06-11 13:49:02
阅读次数:
263
1.共同点 都需要实现storm.trident.operation.Function接口 2.不同点 其中函数有发射这个步骤。 .each(new Fields("orderTime"),new DateTransFormerFunction(),new Fields("day","hour"," ...
分类:
其他好文 时间:
2018-06-10 20:15:38
阅读次数:
234
一:函数操作 1.介绍 Tuple本身是不可变的 Function只是在原有的基础上追加新的tuple 2.说明 如果原来的字段是log,flag 新增之后的tuple可以访问这些字段,log,flag,orderId,orderAmt,memberId 3.先写驱动类 增加了解析 然后再将解析的日 ...
分类:
其他好文 时间:
2018-06-10 15:02:09
阅读次数:
170
1.过滤操作 只是判断某个tuple是否保留 无需跨网络,无需跨分区 不会改变tuple的结构,只是改变tuple的数量 2.需求 过滤掉不是订单的tuple。 其中订单中包含“IBEIfeng.gif”。 3.主驱动类 先过滤 后打印 4.过滤类 5.效果 ...
分类:
其他好文 时间:
2018-06-09 23:13:38
阅读次数:
180
1.项目结构 · 2.启动的服务 无 3.驱动程序 4.打印程序 5.效果 ...
分类:
其他好文 时间:
2018-06-09 22:12:13
阅读次数:
209