调试程序的时候,出现异常消息“The underlying provider failed on Open”;详细信息:和{"服务器 '' 上的 MSDTC 不可用。"};网上溜达了一下下,很快解决了;解决方案:来自heooMSDTC(分布式交易协调器),协调跨多个数据库、消息队列、文件系统等资源管...
分类:
其他好文 时间:
2014-06-19 08:53:05
阅读次数:
217
核心目标:Google File System是一个面向密集应用的,可伸缩的大规模分布式文件系统。GFS运行在廉价的设备上,提供给了灾难冗余的能力,为大量客户机提供了高性能的服务。1.一系列前提GFS的系统构建针对其自身使用的特点在传统的分布式系统的基础上又进行了一些创新,基于的前提假设主要包括以下...
分类:
其他好文 时间:
2014-06-19 08:44:16
阅读次数:
261
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言,适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询,Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言,并在...
分类:
其他好文 时间:
2014-06-18 23:59:12
阅读次数:
305
五、搭建Hadoop集群上面的步骤,确认了单机可以执行Hadoop的伪分布执行,真正的分布式执行无非也就是多几台slave机器而已,配置方面的有一点点区别,配置起来就非常简单了。1、准备三台服务器192.168.56.101192.168.56.102192.168.56.103在每台机器的/etc/hosts中都将ip及hostname给映射上:192.168.56.101 nginx1192...
分类:
其他好文 时间:
2014-06-16 23:18:41
阅读次数:
499
01.在服务端创建zabbix组configuration---Templates---createtemplate---TemplateLinux
DiskIO===其中选择组为"Template"在TemplateLinuxDiskIO中创建Discoveryrule:Name:Diskdevice
discovery
Key:custom.vfs.dev.discovery
FilterMacro{#DISK}Regexp@Disk
devicefordiscover..
分类:
其他好文 时间:
2014-06-16 17:00:42
阅读次数:
543
配置与管理DNS服务器一、DNS服务概述DNS(DomainNameService,域名系统)是一个分布式数据库系统,其作用将域名解析成IP地址。域名系统允许用户使用友好的名字而不是难以记忆的数字——IP地址来访问Internet上的主机。二、项目设计为了保证校园网中的计算机能够安全可靠地通过..
分类:
其他好文 时间:
2014-06-16 16:38:07
阅读次数:
192
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS...
分类:
其他好文 时间:
2014-06-16 14:42:11
阅读次数:
251
(转载请注明出处:http://blog.csdn.net/buptgshengod)1.背景 这是博主第一次大数据实战的经历,之前都是自己写一些算法然后测试很小的数量级。这次是真正接触到TB集的数据,而且完全是在云端处理。下面就把这次的经历简单分享一下。首先简单介绍一下这次比赛的环境吧:1.云:采用的是阿里云2.数据:从四月十五号到八月十五号期间,用户两千多万的购买行为(包括时间,购买、收...
分类:
其他好文 时间:
2014-06-16 14:21:39
阅读次数:
351
若你的应用需要进行分布式部署,如果你的分布式对象需要支持事务、如果你的关键业务逻辑需要能够支持多种不同类型的客户端,那么EJB将会是一个很好的选择。java虚拟机运行时数据区: 需要同时满足下面3个条件才能算是“无用的类”:
1,该类的所有实例都已被回收,也就是JAVA堆中不存在该类的任何实例。
2,加载该类的...
分类:
其他好文 时间:
2014-06-16 14:16:29
阅读次数:
336
MemcachedMemcached是一套分布式的内存对象缓存系统,使用C语言编写,作为数据库的前端cache,缓存数据库查询结果能够减轻数据库负载。类似一张巨大的hash表,缓存的对象以key-value对的形式存在。工作流程检查client请求的数据是否在Memcached中存在,若存在直接返回...
分类:
其他好文 时间:
2014-06-15 09:20:16
阅读次数:
222