前言 昨天还是周末，公司群里就有人@，说集群有问题了，敲完Hive一直卡在那里进不去，于是我很快登上WebUi，看到了这么一幕：这台节点的磁盘满了，其他的数据分布都比较平均 为什么会这样 这里就不得不说一下HDFS复本存放策略了： namenode如何选择在哪个datanode存储复本（replic ...
分类：
其他好文 时间：
2021-02-20 12:16:37
阅读次数：
0
##Hbase和Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的 ...
分类：
其他好文 时间：
2021-02-19 12:52:56
阅读次数：
0
Django批量导入数据库-bulk_create() if request.method == 'POST': text_list=request.POST.getlist('text') pwd_list = request.POST.getlist('pwd') datas = [] for ...
分类：
数据库 时间：
2021-02-16 12:34:27
阅读次数：
0
Hive 运行过程异常信息有时不能完全显示在终端上，此时可以用 Hive Debug 模 式进行调试 hive --hiveconf hive.root.logger=INFO,console 1、表不存在 FAILED: SemanticException [Error 10001]: Line ...
分类：
其他好文 时间：
2021-02-10 13:39:36
阅读次数：
0
字符函数 函数返回值型 函数（参数） 描述 string base64(binary bin) 将二进制 bin 转换成 64 位的字符串 string concat(string|binary A, string|binary B...) 对二进制字节码或字符 串按次序进行拼接 array<str ...
分类：
其他好文 时间：
2021-02-10 13:05:47
阅读次数：
0
聚合函数 函数返回值型 函数（参数） 描述 BIGINT count(*), count(expr), count(DISTINCT expr[, expr...]) 1.统计总行数，包括含有 NULL 值的行 2.count(expr) 统计提 供非 NULL 的 expr 表达式 值的行数 3. ...
分类：
其他好文 时间：
2021-02-10 13:04:58
阅读次数：
0
首相要安装好hive 1.首先修改配置文件文件为hive 路径下的 conf/hive-sit.xml 将内容增加 <property> <name>hive.server2.thrift.port</name> <value>10000</value> <description>Port numb ...
分类：
数据库 时间：
2021-02-08 12:21:57
阅读次数：
0
使用场景 导入数据时，不符合校验规则的数据给予错误提示并导出给用户看 解决方案 导入时将不符合校验规则的数据，加上errorMsg放到reqVO中，校验完成后，将reqVOS转成JSON，放到redis中，key是用户id，expired根据业务设置，导出时去redis中取数据转成List，再转成e ...
分类：
编程语言 时间：
2021-02-05 10:50:31
阅读次数：
0
本文对Hadoop+HBase+Spark+Hive环境搭建方法和步骤进行了详细介绍和说明，记录于此，供各位同学及自己参考研究。 ...
分类：
其他好文 时间：
2021-02-05 10:38:53
阅读次数：
0
UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
