前言
之前的文章中谈论了几个最近几年HDFS中比较重要的特性(比如异构存储),本文继续探讨另一重大特性-Snapshot.Snapshot就是快照的意思.Snapshot是一个非常好的东西,一个形象的比喻,快照就好像拍风景照时的那一个瞬间的投影,过了那个时间点之后,又会有新的一个瞬间投影.所以其实Snapshot快照用一个更好的词来形容就是”瞬间映像“.
Snapshot快照概念...
分类:
其他好文 时间:
2016-05-03 18:15:29
阅读次数:
167
OSSIM插件开发实战由于现有安全设备产生日志格式不统一,故无法直接进行关联分析,在Ossim系统中采取了基于插件过滤的方式对异构安防设备的日志进行采集,OSSIM插件开发,是开发人员的必备技能,下面就对它进行详细讲解。一、插件配置步骤经过以上描述,大家了解收集日志的流程..
分类:
其他好文 时间:
2016-05-01 09:53:29
阅读次数:
311
网络互联 第四章我们已经见到如何用点到点链路,共享介质 和 交换机 建立单一的网络。 网络互联需要强调两个重要的问题:异构性(heterogeneity)和可扩展性(scale)。异构性问题指的是一种类型网络上的用户希望能够同其他类型网络上的用户通信。可扩展性问题因特网规模快速扩张,使得面临许多挑战,其中之一是路由(routing):你如何在有几百万个到几十亿个节点的网络中去找到一条高效的路径。与此...
分类:
其他好文 时间:
2016-04-29 20:01:53
阅读次数:
168
OSI:开放系统互联参考模型 是IOS提出为异构系统互联提供了概念性的框架 ; 分为七层 应用 表示 会话 传输 网络 数据连接 物理 网络编程 编写能直接或间接的通过网络协议与其他计算机上的某个程序进行通讯 ; Telnet协议 23端口 简单邮件传输 25端口 文件传输 21端口 超文本传输 8 ...
分类:
其他好文 时间:
2016-04-27 22:45:04
阅读次数:
207
网络互联 第四章我们已经见到如何用点到点链路,共享介质 和 交换机 建立单一的网络。 网络互联需要强调两个重要的问题:异构性(heterogeneity)和可扩展性(scale)。异构性问题指的是一种类型网络上的用户希望能够同其他类型网络上的用户通信。可扩展性问题因特网规模快速扩张,使得面临许多挑战,其中之一是路由(routing):你如何在有几百万个到几十亿个节点的网络中去找到一条高效的路径。与此...
分类:
其他好文 时间:
2016-04-26 21:57:52
阅读次数:
186
前言
前一篇文章中刚刚分析完HDFS的异构存储以及相关的存储类型选择策略,浏览量还是不少的,说明大家对于HDFS的异构存储方面的功能还是很感兴趣的.但是其实一个文件Block块从最初的产生到最后的落盘,存储类型选择策略只是其中1步,因为存储类型选择策略只是帮你先筛选了一些符合存储类型要求的存储节点目录位置列表,通过这些候选列表,你还需要做进一步的筛选,这就是本文所准备阐述的另外一个主题,HD...
分类:
其他好文 时间:
2016-04-22 20:57:57
阅读次数:
278
消息队列
消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的分布式应用提供有效的通信手段。为了管理需要共享的信息,对应用提供公共的信息交换机制是重要的。常...
分类:
其他好文 时间:
2016-04-16 19:04:26
阅读次数:
250
所谓Web Service是一个平台独立的,低耦合的,自包含的、可编程的Web应用程序,有了Web Service异构系统之间就可以通过XML或JSON来交换数据,这样就可以用于开发分布式的互操作的应用程序。Web Service使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件就可相互交换数据或集成,无论它们各自所使用的语言、平台或内部协议是什么,都可以相互交换数据。Web S...
分类:
Web程序 时间:
2016-04-16 15:30:47
阅读次数:
305
淘宝异构数据源数据交换工具 DataX DataX是什么? DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由淘宝数据平台部门完成。 DataX用来解决什么? 目前成熟的数据导入导出工 ...
分类:
其他好文 时间:
2016-04-06 10:59:44
阅读次数:
212
互连:仅是物理上连接在一起,实现网络距离上的延伸互联:不仅在物理上连接,而且在逻辑上也可以连接在一起互联网互联类型:局域网之间的互联(LAN--LAN)1、同构网的互联2、异构网的互联局域网与城域网的互联(LAN--MAN)局域网与广域网的互联(LAN--WAN)多个远程局域网利用公用网互联(LAN ...
分类:
其他好文 时间:
2016-04-06 00:27:54
阅读次数:
222