码迷,mamicode.com
首页 >  
搜索关键字:cdh hive 释放空间    ( 6666个结果
vector内存分配
vector,map这些容器还是在堆上分配的内存,在析构时是释放空间vector在提高性能可以先reserve在push_back()reserve:决定capacity,但没有真正的分配内存,我感觉只是告诉操作系统预留一段空间,但没有真正的分配resize:真正的分配了,可以通过下标访问
分类:其他好文   时间:2014-08-01 23:00:12    阅读次数:263
CComBSTR的生命期
CComBSTR会自动管理字符串的内存空间,在析构时释放空间。由于C++对象在出其作用域时会进行析构。所以有一些情形下,使用CComBSTR容易犯下错误。来看以下代码: BSTR bstr1 = CComBSTR(L"hello"); BSTR bstr2 = CComBSTR(L"wo...
分类:其他好文   时间:2014-08-01 19:18:02    阅读次数:302
初学HBase的几个问题
本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题: 什么是HBase?何时用HBase?与Hive、Pig的区别?HBase的结构为何HBase速度很快?HBase常用的操作有哪些?HBase的一些配置和监控 什么是HBase? HBase,是Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。使用HBase技术可以在廉...
分类:其他好文   时间:2014-07-31 16:59:07    阅读次数:271
转:搭建Hive的图形界面
原文来自于:http://blog.csdn.net/w13770269691/article/details/17353595今天想使用一下Hive的图形化工具HWI,我的Hive是0.12.0版本。该版本已经集成了HWI的JAR包,在$HIVE_HOME/lib下的hive-hwi-0.12.0...
分类:其他好文   时间:2014-07-31 12:31:26    阅读次数:183
关于hive RegexSerDe的源码分析
最近有个业务建表使用了RegexSerDe,之前虽然也它来解析nginx日志,但是没有做深入的了解。这次看了下其实现方式。建表语句:CREATEexternalTABLEods_cart_log ( time_localSTRING, request_jsonSTRING, trace_id_numSTRING ) PARTITIONEDBY ( dtstring, hourstring ) ROWFORMA..
分类:其他好文   时间:2014-07-31 03:11:15    阅读次数:226
监控hdfs坏块脚本
最近发生了一次因为hdfs的坏块导致的hive计算问题,因此写了个监控脚本用来监控hdfs的坏块,脚本如下:#!/usr/bin/python #-*-coding:utf8-*- #editbyericni #20140724 #monitorhdfscorrupt importsys importproperty importsendmail importre,os reload(sys) sys.setdefaulten..
分类:其他好文   时间:2014-07-31 03:11:06    阅读次数:350
hive中order by,distribute by,sort by,cluster by
order by,distribute by,sort by,cluster by ?查询使用说明 // 根据年份和气温对气象数据进行排序,以确保所有具有相同年份的行最终都在一个reducer分区中 // 一个reduce(海量数据,速度很慢) select year, te...
分类:其他好文   时间:2014-07-30 21:00:44    阅读次数:198
Cloudera impala简介及安装详解
一、Impala简介 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。 二、Impala安装 1.安装要求...
分类:其他好文   时间:2014-07-30 09:59:03    阅读次数:358
hive列转行 (collect_set())
一、问题 hive如何将 a?????? b?????? 1 a?????? b?????? 2 a?????? b?????? 3 c?????? d?????? 4 c?????? d?????? 5 c?????? d??????...
分类:其他好文   时间:2014-07-29 22:13:52    阅读次数:542
Hive的日期函数
1.unix时间戳转时间函数 语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 举例: hive> select from_unixtime(1323308943,‘yyyyMMdd’) from...
分类:其他好文   时间:2014-07-29 17:56:42    阅读次数:434
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!