1 Map side tuning参数1.1 MapTask运行内部原理 当map
task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buffer来进行已经产生的部分结果的缓存,并在内存buffer中进行一些预排序来优化整个map.....
分类:
其他好文 时间:
2014-05-20 01:54:58
阅读次数:
341
遇到的问题:当点击上面的logs时,会出现下面问题:这个解决方案为:By default,
Hadoop stores the logs of each container in the node where that container was
hosted. While this is irre...
分类:
其他好文 时间:
2014-05-19 10:33:13
阅读次数:
369
UCloud云服务以大家所称道的高性能和高稳定性,走进了越来越多的大众视野。大家都对UCloud云计算平台的技术实现方式非常好奇。UCloud云主机的高性能是如何实现的?如何使得SATA跑过SSD?持久化分布式内存存储机制是怎样的?如何实现云计算模式下的Hadoop多租户隔离?分布式虚拟交换机又.....
分类:
其他好文 时间:
2014-05-19 08:28:47
阅读次数:
338
转载:http://blog.chinaunix.net/uid-27570589-id-3771152.html今天在分析一个sql语句的时候 发现 left
join 与where a=b(+) 产生的执行计划不一样 而且效率也是不一样的到底怎么回事 我在网上找了篇文章分享(1.)select语...
分类:
数据库 时间:
2014-05-19 07:21:19
阅读次数:
503
浅解多线程(一)之线程入门起步本文链接确定多线程的结束时间,thread的IsAlive属性线程优先级,thread的ThreadPriority属性线程通信之Monitor类线程排队之Join多线程互斥锁Mutex信号量semaphore确定多线程的结束时间,thread的IsAlive属性在多个...
分类:
编程语言 时间:
2014-05-19 07:01:07
阅读次数:
776
oracle使用LEFT JOIN关联产生的问题在查询结果中使用CASE WHEN
无法判断查询方式一: 1 SELECT 2 CASE WHEN (SELECT CAST(SUM(CASE 3 WHEN
(ALLOCABLE_PRIME_CURRENCY_VALUE IS NULL AND ST....
分类:
数据库 时间:
2014-05-18 20:08:35
阅读次数:
1129
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类:
系统相关 时间:
2014-05-17 21:51:24
阅读次数:
671
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程。1、下载安装包到官方网站下载最新的安装包,这里以Hive-0.12.0为例:$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里,HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类:
其他好文 时间:
2014-05-16 02:36:44
阅读次数:
369
在单个程序中我们经常用多线程来处理不同的工作,尤其是有的工作需要等,那么我们会新建一个线程去等然后执行某些操作,当做完事后线程退出被回收。当一个程序运行时,就会有一个进程被系统所创建,同时也会有一个线程运行,这个线程就是主线程main,在主线程中所创建的新的线程都是子线程,子线程通常都是做一些辅助的事。python中提供了thread和threading两个模块来支持多线程。
p...
分类:
编程语言 时间:
2014-05-15 23:20:00
阅读次数:
471