Hadoop:
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互,将一个个任务分解成映射与合并两种方式,然而通过映射进行分类与简化,从而产生部分归并结果,然后对同类结果进行归并计算;
由于Hadoop的中间结果需要依托于hdfs,从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差;
Hadoop主要处理hdfs上的文本文件,而文本文件内容本...
分类:
其他好文 时间:
2015-07-07 19:27:46
阅读次数:
294
Git常用命令备忘
2014 年 01 月 27 日
git
Git配置
git config --global user.name "storm"
git config --global user.email "stormzhang.dev@gmail.com"
git config --global color.ui true
git config ...
分类:
其他好文 时间:
2015-07-07 16:50:09
阅读次数:
136
转载:http://weyo.me/pages/techs/storm-topology-remote-submission/作为一个懒癌晚期患者,虽然 Storm 只需要一条命令的任务提交方式已经够简单了,但还是一直想要有种更简(tou)单(lan)的方式,比如要是在 Windows 下写完代码之...
分类:
其他好文 时间:
2015-07-04 13:56:59
阅读次数:
570
Rending Engine的作用是页面渲染,将页面代码转换成用户看的见的有意义的页面,排版引擎。Trident美['tra?dnt]Trident就是大名鼎鼎的IE浏览器所使用的内核,于是完全符合w3c标准的网页在老trident内核下出现了偏差,这就是为什么后来很多人觉得后来的IE9网页排版有点...
分类:
其他好文 时间:
2015-07-04 11:01:38
阅读次数:
120
1、下载Storm及相关组件,包括:Storm包:https://storm.apache.org/downloads.htmlZeroMQ包:http://zeromq.org/area:downloadJZMQ包:https://github.com/nathanmarz/jzmq2、安装依赖包1,安装ZeroMQ包和JZMQ包一般步骤:./configuremakemakeinstall默认configure的前缀--pre..
分类:
其他好文 时间:
2015-07-03 16:05:43
阅读次数:
156
hadoop 是实现了 mapreduce 的思想,将数据切片计算来处理大量的离线数据。hadoop
处理的数据必须是已经存放在 hdfs 上或者类似 hbase 的数据库中,所以 hadoop 实现的时候
是通过移动计算到这些存放数据的机器上来提高效率而 storm 不同,storm 是一个流计算框
架,处理的数据是实时消息队列中的,所以需要我们写好一个 topology 逻辑放在那,...
分类:
其他好文 时间:
2015-07-02 19:34:35
阅读次数:
138
http://tech.uc.cn/?p=2159诞 生 在2011年Storm开源之前,由于Hadoop的火红,整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据。但是,Hadoop的缺点也和它的优点同样鲜明——延迟大,响应缓慢,运维复杂。 ....
分类:
其他好文 时间:
2015-07-02 17:16:58
阅读次数:
165
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍,然后尝试快速、高度概述其异同。Apache Storm在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master...
分类:
其他好文 时间:
2015-07-02 15:29:02
阅读次数:
149
问题:当完成Topology各个组件的定义之后(写好了**Spout.java 和 **Bolt.java)如何将Topology提交到集群中去? 参考:http://www.cnblogs.com/fxjwind/archive/2013/06/05/3119056.html 1,在**Topol...
分类:
其他好文 时间:
2015-07-01 20:00:25
阅读次数:
255
眼下世界上主要有来自四个不同机构的四种的Web浏览器内核。每一家机构都推出了至少一种使用自己的内核的浏览器产品。这四家机构各自是Microsoft、Mozilla、Apple和Opera SAS。提供的内核则分别叫做Trident、Gecko、WebKit和Presto,推出的主打浏览器则分别叫做I...
分类:
其他好文 时间:
2015-07-01 17:22:36
阅读次数:
132