码迷,mamicode.com
首页 > 其他好文 > 详细

20-Hive常见报错处理

时间:2021-02-10 13:39:36      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:regular   com   pst   beyond   cas   运行   running   rbo   parse   

Hive 运行过程异常信息有时不能完全显示在终端上,此时可以用 Hive Debug 模 式进行调试

hive --hiveconf hive.root.logger=INFO,console

1、表不存在

FAILED: SemanticException [Error 10001]: Line 101:19 Table not found ODS_CDR_PSTN_D
报错分析:Table not found 很明显表 ODS_CDR_PSTN_D 不存在
解决办法:
可以先去检查下对应 ODS 库下是否存在该表,若不存在,则迁移该表,若存在,
那很可能就是过程脚本中未在表名前加上库名

2、通用报错

FAILED: Execution Error, return code 2 from
org.apache.hadoop.hive.ql.exec.mr.MapRedTase

类似于一句总结的话,基本大多数报错都会用该句收尾,所以这个报错信息不能帮忙解决问题,需要查看日志。
日志存放目录:除 stage 外其它所有库下都有自己过程上一次执行的具体日志信息。

3、本地模式报错

技术图片

 

 报错分析:本地模式的内存无法满足当前任务的需求

 解决办法:关闭本地模式

 过程语句前加上:

set hive.auto.convert.join=false;

是否根据输入小表的大小,自动将 Reduce 端的 Common Join 转化为 Map Join,

从而加快大表关联小表的 Join 速度。

 

4、内存溢出报错

Container
[pid=17441,containerID=container_1446899682569_0355_01_000019] is
running beyond physical memory limits. Current usage: 4.0 GB of 4 GB
physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing
container

技术图片

 

 报错分析:container 执行需要的内存超出了物理内存限制

解决办法:给它更大的内存

过程语句前加上:默认

set mapreduce.map.memory.mb=8192;

map container 内存分配

set mapreduce.reduce.memory.mb=8192;

reduce container 内存分配

 

5、Group by 后面有两个相同字段报错

FAILED: ClassCastException org.apache.hadoop.hive.serde2.typeinfo.P
rimitiveTypeInfo cannot be cast to org.apache.hadoop.hive.serde2
.typeinfo.DecimalTypeInfo ---出现字段类型转换。
查看有 sql 语句中 group by 后面是否有 2 个同名的字段

 

6、NoViableAltException(-1@[])报错

NoViableAltException(-1@[])
    at org.apache.hadoop.hive.ql.parse.HiveParser_SelectClauseParser.selectClause(HiveParser_SelectClauseParser.java:1087)
    at org.apache.hadoop.hive.ql.parse.HiveParser.selectClause(HiveParser.java:45827)
    at org.apache.hadoop.hive.ql.parse.HiveParser.selectStatement(HiveParser.java:41495)
    at org.apache.hadoop.hive.ql.parse.HiveParser.regularBody(HiveParser.java:41402)
    at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpressionBody(HiveParser.java:40413)
    at org.apache.hadoop.hive.ql.parse.HiveParser.queryStatementExpression(HiveParser.java:40283)
    at org.apache.hadoop.hive.ql.parse.HiveParser.execStatement(HiveParser.java:1590)
    at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1109)
    at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202)
    at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:166)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:396)
    at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:308)
    at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:1122)
    at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1170)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1059)
    at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1049)
    at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:213)
    at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:165)
    at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:376)
    at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:736)
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681)
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
FAILED: ParseException line 1:14 cannot recognize input near <EOF> 
<EOF> <EOF> in select clause

报错分析:NoViableAltException(-1@[])表示语法问题

检查对应 sql 段是否有语法错误,常见错误为中文注释引起或者注释中存在分 号”;”

 

7、kryo 报错

Caused by: org.apache.hive.com.esotericsoftware.kryo.KryoException:Encountered unregistered class ID: 590

技术图片

 

 报错分析:过程执行时启动的 job 数目过多导致

解决办法:重新执行过程

 

20-Hive常见报错处理

标签:regular   com   pst   beyond   cas   运行   running   rbo   parse   

原文地址:https://www.cnblogs.com/caiyongjiesmile/p/14395301.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!