1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map.....
分类:
其他好文 时间:
2014-05-20 01:54:58
阅读次数:
341
前言:自上周五开始,因为公司刚好来人培训,因为我还在出差,熬了一个周末早9-晚9两天搞完了三天的课程,觉得还不错。。但是很多东西还是要自己摸索的。到今天来一个小结吧。一.概述1.webService
说白了,就是为企业执行SOA的一个工具而已。2.消息中间件,作为SOA架构的一条esb,即企业服务总...
分类:
Web程序 时间:
2014-05-19 11:10:40
阅读次数:
496
遇到的问题:当点击上面的logs时,会出现下面问题:这个解决方案为:By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类:
其他好文 时间:
2014-05-19 10:33:13
阅读次数:
369
UCloud云服务以大家所称道的高性能和高稳定性,走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的?如何使得SATA跑过SSD?持久化分布式内存存储机制是怎样的?如何实现云计算模式下的Hadoop多租户隔离?分布式虚拟交换机又.....
分类:
其他好文 时间:
2014-05-19 08:28:47
阅读次数:
338
转:李一男2003年在港湾给开发人员培训时的语录作者:【三石】[1]好好规划自己的路,不要跟着感觉走!根据个人的理想决策安排,绝大部分人并不指望成为什么院士或教授,而是希望活得滋润一些,爽一些。那么,就需要慎重安排自己的轨迹。从哪个行业入手,逐渐对该行业深入了解,不要频繁跳槽,特别是不要为了一点工资...
分类:
其他好文 时间:
2014-05-19 08:04:49
阅读次数:
281
链接:http://www.uml.org.cn/sjjm/201308264.asp高并发数据库可以同时处理海量信息,应用范围很广。今天我们将讨论的是大数据量高并发的数据库优化,希望对大家有所帮助。一、数据库结构的设计如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难...
分类:
数据库 时间:
2014-05-18 20:30:59
阅读次数:
519
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程。1、下载安装包到官方网站下载最新的安装包,这里以Hive-0.12.0为例:$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里,HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类:
其他好文 时间:
2014-05-16 02:36:44
阅读次数:
369
<table></table><tr>表示一行<th>标题<td>表格里的一格<td>标签定义HTML表格中的标准单元格。HTML表格有两类单元格:表头单元-包含头部信息(由th元素创建)标准单元-包含数据(由td元素创建)td元素中的文本一般显示为正常字体且左对齐。..
分类:
其他好文 时间:
2014-05-16 02:12:53
阅读次数:
369
之前写了一篇文章《我想创立开发者协会,请大家给点意见》,收到了不少朋友的支持和鼓励,给了我不少动力。那段时间会经常找领导、老师交流,章程从第一版修改到了第七版,当运转模式大概确定了,组织架构大概形成了,核心人员大概聚集了,初步的管理方案、培训路线也出来了,但在领导、到时大多都支持的情况下,最后还是“先缓一段时间吧”。...
分类:
其他好文 时间:
2014-05-16 01:28:51
阅读次数:
243