MR系类: ①hadoop生态 >MapReduce:分布式处理 >Hdfs:hadoop distribut file system >其他相关框架 ->unstructured data:收集日志 flume,scribe ->structured data:sqoop hdfs与关系型数据库相 ...
分类:
其他好文 时间:
2016-09-27 13:31:31
阅读次数:
177
Remoting:(本文摘自百度百科) 简介: 什么是Remoting,简而言之,我们可以将其看作是一种分布式处理方 式。从微软的产品角度来看,可以说Remoting就是DCOM的一种升级,它改善了很多功能,并极好的融合到.Net平台下。Microsoft .NET Remoting 提供了一种允许 ...
分类:
Web程序 时间:
2016-09-23 16:51:10
阅读次数:
181
Cobar简介: Cobar是关系型数据库的分布式处理系统,它可以在分布式的环境下看上去像传统数据库一样为您提供海量数据服务。 产品在阿里巴巴B2B公司已经稳定运行了3年以上。 目前已经接管了3000+个MySQL数据库的schema,为应用提供数据服务。 据最近统计cobar集群目前平均每天处理近 ...
分类:
数据库 时间:
2016-09-19 18:01:13
阅读次数:
262
Spark 指南 Spark 是继 Hadoop 之后新一代的大数据分布式处理平台。它是一个基于内存、容错型的分布式计算引擎,与 Hadoop MapReduce 相比,计算速度要快100倍。 Spark 卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有的核心问题,使得 Spark 迅速成 ...
分类:
其他好文 时间:
2016-09-18 13:31:01
阅读次数:
178
https://hadoop.apache.org/docs/r1.2.1/hdfs_user_guide.html hdfs的一些特征: 1.hadoop 包含hdfs 很适合分布式存储以及分布式处理,它是容错的,可伸缩的,并且容易扩展的。MapReduce 以他的简单和适用性为一系列分布式系统服 ...
分类:
其他好文 时间:
2016-08-17 10:19:05
阅读次数:
133
轻量级框架 EJB(Enterprise JavaBean) EJB容器为EJB组件提供一个运行环境,并对组件提供分布式处理、事务处理与服务支持 EJB的缺陷 编辑、编译、调试周期长 编码冗长、繁琐 必须编写数据传输对象(DTO) Mybatis 对jdbc的封装:1.连接封装 2.SQL语句的封装 ...
分类:
其他好文 时间:
2016-07-20 01:10:21
阅读次数:
187
Windows通信基础(Windows Communication Foundation,WCF)是基于Windows平台下开发和部署服务的软件开发包(Software Development Kit,SDK)。 WCF就是微软对于分布式处理的 编程技术的集大成者,它将DCOM、Remoting、W ...
分类:
Web程序 时间:
2016-07-18 03:16:53
阅读次数:
370
hadoop是一个分布式文件系统(HadoopDistributedFileSystem)HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败..
分类:
其他好文 时间:
2016-07-11 10:45:53
阅读次数:
416
功能介绍 跨语言通信 方便的使Java、Python、C++三种程序可以相互通信 负载均衡和容灾处理 方便的实现任务的分布式处理 支持服务的水平扩展,自动发现新的服务节点 能够兼容各种异常情况,如节点的异常down机 可视化管理 通过服务管理系统可以方便查看服务状态和统计信息 与原生thrift通信 ...
分类:
编程语言 时间:
2016-07-04 23:47:11
阅读次数:
463
1.概述 轻量级框架一般由struts,spring组成,侧重于减小开发的复杂度,相应的它的处理能力便有所减弱(如事务功能弱、不具备分布式处理能力),比较适用于开发中小型企业应用。 2.定义 轻量级框架是相对于重量级框架的一种设计模式:轻量级框架不带有侵略性API,对容器也没有依赖性,易于进行配置, ...
分类:
其他好文 时间:
2016-05-22 13:59:49
阅读次数:
139