问题重现 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看执行计划： hive> explain select * from big_table where name = 'sdlkfjalksdjfla' ...
分类：
其他好文 时间：
2018-12-12 17:40:43
阅读次数：
290
hive cli中显示列名 进入hive cli后 set hive.cli.print.header=true; 之后出现列名，但是带了表名前缀，由于网上没找到资料，于是到官网肉眼扫描所有参数，总算找到，给大家分享下。 hive cli中， set hive.resultset.use.uniqu ...
分类：
其他好文 时间：
2018-12-11 20:23:00
阅读次数：
333
1. 创建临时function （这里两个包都是hive自带到，不需要自己开发的，可以根据名称查找对应的版本） 2. dboutput使用方法 ...
分类：
数据库 时间：
2018-12-11 13:50:03
阅读次数：
142
转自：https://blog.csdn.net/xinzhi8/article/details/71455883 操作： 其中一个表较小，但是key集中 group by 维度过小，某值的数量过多 原因： 1)、key分布不均匀 2)、业务数据本身的特性 3)、建表时考虑不周 4)、某些SQL语句 ...
分类：
其他好文 时间：
2018-12-11 01:37:00
阅读次数：
597
最近遇到一个hive权限的问题，先简单记录一下，目前自己的理解不一定对，后续根据自己的理解程度更新 一、hive用户的概念 hive本身没有创建用户的命令，hive的用户就是Linux用户，若当前是用mr用户输入hive，进入hive的shell，则当前hive的用户为mr。 所以在实际的生产中，容 ...
分类：
其他好文 时间：
2018-12-11 00:40:04
阅读次数：
206
设想和目标 1. 我们的软件要解决什么问题？是否定义得很清楚？是否对典型用户和典型场景有清晰的描述？ 问题：我们的软件从设计开始就是为了商家在线查看门店的销量情况，细化到各种种类商品的销量情况，并且能预测商品接下来的一段时间的销量情况并生成图表。 典型用户：商店的经营者以及管理者，部分供货商也可能使 ...
分类：
其他好文 时间：
2018-12-10 21:59:40
阅读次数：
185
定位: HIVE：长时间的批处理查询分析 impala:实时交互式SQL查询 impala优缺点优点： 1. 生成执行计划树，不用多次启动job造成多余开销，并且减少中间结果数据写入磁盘，执行速度快 2. 不占用yarn的资源 3. 缺点： 1. 不支持Date类型 2. 与HIVE数据不同步，需要 ...
分类：
其他好文 时间：
2018-12-10 11:30:26
阅读次数：
249
因为要处理最近项目中碰上的多个子进程退出信号同时到达，导致程序不当产生core的情况，今天我花了时间看了一些关于linux信号处理的博客。 总结一下：（知识未经实践） （直接粘贴文字变成一行，所以使用插入代码的方式） 14 Linux支持的信号列表如下。很多信号是与机器的体系结构相关的 信号值 默认 ...
分类：
系统相关 时间：
2018-12-09 20:12:02
阅读次数：
243
1、Centos7系统下实现httpd-2.2的安装，并分别实现prefork、worker、event等几种工作方式preforkprefork是一个两级进程模型，非线程的模式，其实通过由父进程管理创建子进程，子进程响应的相应的请求的方式来运行的。以prefork模式运行的httpd，在启动之际就预派生fork了一些子进程，然后等待请求。每个子进程只有一个线程，在一个时间点内只能处理一个请求。优
分类：
Web程序 时间：
2018-12-09 00:03:03
阅读次数：
306
一. 概述 在大数据的静态数据处理中，目前普遍采用的是用 Spark + Hdfs （Hive / Hbase） 的技术架构来对数据进行处理。 但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存储到 Hdfs 中进行处理。而追加（append）这种操作在 Hdfs 里面明显是比较麻烦 ...
分类：
数据库 时间：
2018-12-08 22:41:23
阅读次数：
302
