本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高？ 集群运维成本如何降低？ 1. 背景 这是我们初期的一个实时计算架构，大致划分为三个部分： （1） ...
分类：
其他好文 时间：
2016-06-26 19:41:34
阅读次数：
202
高级数据库技术
（一）引言
数据库系统的发展起始于19世纪60年代，从IBM的层次模型IMS、网状模型、关系模型，发展到多数模型共存的（同构和异构及其混合的形式共存的现状）。尤其是三位在数据库领域获得图灵奖的得主，查尔斯.巴赫曼，埃德加.科德和詹姆斯.格雷三人所对于数据库发展的贡献。尤其是科德在1970年发表的“大型共享数据库的关系数据模型”奠定了关系型数据库的基础。随着科学技术的发展，各...
分类：
数据库 时间：
2016-06-24 15:29:50
阅读次数：
206
一. OpenCL安装，设置和使用 1. OpenCL是什么？ OpenCL（全称Open Computing Language，开放运算语言）是第一个面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算服务器、桌面计算系统、手持设备编写高效轻便的代码 ...
分类：
其他好文 时间：
2016-06-17 19:12:18
阅读次数：
1917
本文不讨论WS性能问题，也不讨论使用非框架方式比如TCP伪造HTTP协议等方式通讯，仅讨论在常见的系统间使用HTTP+SOAP通讯框架的方法以及雷区。 本文大多数内容来自于某次在两个月内迁移完两个异构ESB产品后的思考。 Java Java下框架比较多，常见问题是一种获取(HTTP GET) WSD ...
分类：
Web程序 时间：
2016-06-14 11:33:09
阅读次数：
231
由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的E ...
分类：
其他好文 时间：
2016-05-31 15:38:16
阅读次数：
759
前言
上一篇文章主要阐述了HDFS Cache缓存方面的知识,本文继续带领大家了解HDFS内存存储相关的内容.在HDFS中,CacheAdmin设置的目标文件缓存是会存放于DataNode的内存中,但是另外一种情况也可以将数据存放在DataNode的内存里.就是之前HDFS异构存储中提到的内存存储策略,LAZY_PERSIST.换句话说,本文也是对HDFS内存存储策略的一个更细致的分析.考虑...
分类：
其他好文 时间：
2016-05-30 14:48:07
阅读次数：
295
《开源安全运维平台：OSSIM最佳实践 》 李晨光 著 清华大学出版社出版 内 容 简 介在传统的异构网络环境中，运维人员往往利用各种复杂的监管工具来管理网络，由于缺乏一种集成安全运维平台，当遇到故障时总是处于被动“救火”状态，如何将资产管理、流量监控、漏洞管理、入侵监测、合规管理等重要环节，通过开 ...
分类：
其他好文 时间：
2016-05-29 19:55:37
阅读次数：
125
前言众所周知,HDFS作为一个分布式文件系统.存储着海量的数据,每天的IO读写操作次数当然是非常高的.所以在之前的文章中,我们提到了用HDFS的异构存储来做冷热数据的分类存储,但比较好的一点是,他们还是隶属于同一个集群.那么问题来了,是否我还可以做进一步的改进,优化呢,因为有的数据文件访问在某个时间段是大家公用的,访问频率甚至比一般的热点文件还要高很多.但是过了那个时间点,就又会变为普通的文件.本文...
分类：
其他好文 时间：
2016-05-23 15:14:41
阅读次数：
226
GG搭建 源单实例---到目标RAC环境 11.2.3版本 单向同步
目的
完成后本 Oracle 按示例 (OBE) 教程中，您将能够保持两个异构数据库同步使用 Oracle GoldenGate (OGG) ；在这种情况下 Linux Oracle 11gR2 数据库到 11gR2 Exadata 数据库。
在本课中，您将学会如何：
准备您的环境配置 Oracl...
分类：
其他好文 时间：
2016-05-22 06:21:32
阅读次数：
251
目前主流的跨语言异构模块通信方案有很多种，比如： 1、跨语言的RPC调用（Apache Thrift）：它是Facebook贡献给Apache基金会的开源项目，旨在构建跨语言平台的通信方案。目前它支持非常多种语言，其中当然包括C/C++和Java。Thrift内置一个语言编译器，可以根据Thrift ...
分类：
编程语言 时间：
2016-05-18 23:38:55
阅读次数：
1134
