码迷,mamicode.com
首页 >  
搜索关键字:cdh hive 释放空间    ( 6666个结果
string的内存本质
虽然没有研究过string的源代码,不过可以确定的是string的内存空间是在堆上开辟的,它自己负责释放空间,不用我们关系。 我们用一个动态分配的字符串指针初始化一个string对象retStr,它会做一个拷贝过程,将字符串考到retStr自己的内存空间里,之后retStr就跟ret没有任何关系.....
分类:其他好文   时间:2014-08-29 14:29:17    阅读次数:182
hive 行转列 并添加虚列
select regexp_extract(a.col2,'(phonenum=\")(.*?)\"',2) user_device, regexp_extract(a.col13,'(imsicode=\")(.*?)\"',2) imsi, regexp_extract(a.col12,...
分类:其他好文   时间:2014-08-29 13:00:07    阅读次数:205
自定义hive的Inputformat
项目背景: 本公司需要处理一份数据,这份数据有这样的特点,一行数据长度是1924个,一共有88个字段,且知道每个字段按顺序的长度。但是如果直接创建表的话也是行的,只不过写很复杂的正则表达式。而且效率方面可...
分类:其他好文   时间:2014-08-29 11:17:58    阅读次数:286
一例 Hive join 优化实战
由于 hive 与传统关系型数据库面对的业务场景及底层技术架构都有着很大差异,因此,传统数据库领域的一些技能放到 Hive 中可能已不再适用。关于 hive 的优化与原理、应用的文章,前面也陆陆续续的介绍了一些,但大...
分类:其他好文   时间:2014-08-29 05:13:27    阅读次数:293
hadoop 学习笔记:mapreduce框架详解
hadoop 学习笔记:mapreduce框架详解   开始聊mapreduce,mapreduce是hadoop的计算框架,我 学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研...
分类:其他好文   时间:2014-08-28 21:18:16    阅读次数:355
spark 执行诡异问题
今天在centos6.3上搭建了hadoop+hive+spark系统,在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类,于是修改了spark-env.sh在spark_classpath里添加了hive的库路径exportSPARK_CLASSPATH=/usr/local/spark-1.0.0/lib_managed/jars/spark-assembly-1.0.0-..
分类:其他好文   时间:2014-08-28 15:00:30    阅读次数:339
hive 的分隔符、orderby sort by distribute by的优化
orderby sort by distribute by的优化...
分类:其他好文   时间:2014-08-28 13:19:09    阅读次数:294
Hive综合案例分析之用户上网行为分析
知识点:1、Hive复合数据类型:array collect_set collect_list array_contains sort_array2、lateral view explode(array) lateral view out需求: click_log : ...
分类:其他好文   时间:2014-08-27 20:18:48    阅读次数:1808
Hive综合案例分析之不正常订单状态统计
需求订单有5个状态:创建、捡货、发送、送达、取消统计:创建和捡货之间不能操作2小时,创建到发送时间不能操作4小时,创建到送达之间不能超过48小时。知识点1)external table2)desc formatted的使用3)virtual column4)Alter FILEFORMAT5)COA...
分类:其他好文   时间:2014-08-27 16:20:08    阅读次数:3508
linux 删除文件 未释放空间
在Linux或者Unix系统中,通过rm或者文件管理器删除文件将会从文件系统的目录结构上解除链接(unlink).然而如果文件是被打开的(有一个进程正在使用),那么进程将仍然可以读取该文件,磁盘空间也一直被占用。而我删除的是oracle的告警log文件删除的时候文件应该正在被使用 解决方法 首先获得...
分类:系统相关   时间:2014-08-27 14:18:47    阅读次数:307
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!