原文 最近在centos7.1使用docker运行redis镜像，出现下面的错误： 在网上搜索一番后，一个可行的方案如下(改变storage driver类型， 禁用selinux): 停止docker服务 清理镜像 修改存储类型 把空的DOCKER_STORAGE_OPTIONS参数改为overl ...
分类：
其他好文 时间：
2018-10-19 11:55:43
阅读次数：
401
执行hive -e 命令并且获取对应的select查询出来的值及其对应的scheam字段 需要在执行语句中前部添加 set hive.cli.print.header=true; 这个设置,如下语句: hive -e "set hive.cli.print.header=true;use defau ...
分类：
编程语言 时间：
2018-10-18 21:56:36
阅读次数：
537
Hive是一个依赖于分布式存储的查询和管理大型数据集的数据仓库。传统的非大数据行业一般都是基于表进行数据存储和管理的，如果由于业务扩张或者其他原因迁移到HDFS平台上，那么需要将传统的SQL查询语句全部翻译成Map-reduce的程序实现，这个工作量是相当庞大的。好在SQL具有严谨和良好的模板式语法 ...
分类：
其他好文 时间：
2018-10-18 11:42:23
阅读次数：
121
1、介绍 spark SQL是构建在spark core模块上的四大模块之一，提供DataFrame等丰富的API，运行期间通过spark查询优化器翻译成物理执行计划，并行计算输出结果，底层计算原理用RDD计算实现。 2、standalone模式下的spark和hive集成 1、在 /soft/sp ...
分类：
数据库 时间：
2018-10-16 22:01:43
阅读次数：
201
显示所有数据库 选择数据库并显示所有表 查询表数据 RDD -- DataFrame -- select API -- 创建临时表 -- 查询 ...
分类：
系统相关 时间：
2018-10-16 21:57:26
阅读次数：
414
redis 是什么 redis 是什么 我们都知道 mysql、oracle 是关系型数据库，它们的特点就是像一个 Excel 表格一样，而且都是用 SQL 语句。但是你可能看到一种东西叫NoSQL。NoSQL 泛指非关系型数据库，他的存储结构和关系型数据库不一样，一般是存储的数据都是 KV 格式的 ...
分类：
其他好文 时间：
2018-10-16 20:53:28
阅读次数：
190
本文来自网易云社区 作者：王潘安 快速解决方法 目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用 ROW FORMAT SERDE 'org.openx.data.jsonserde.Js ...
分类：
其他好文 时间：
2018-10-16 13:48:31
阅读次数：
160
本文来自网易云社区 作者：王潘安 快速解决方法 目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用 ROW FORMAT SERDE 'org.openx.data.jsonserde.Js ...
分类：
其他好文 时间：
2018-10-16 13:42:19
阅读次数：
156
本文来自网易云社区 作者：王潘安 执行阶段 launchTask 回到Driver类的runInternal方法，看以下执行过程。在runInternal方法中，执行过程调用了execute方法。execute方法里面的内容很多，但是跟我们有关系的就只有launchTask方法。这个方法里面有这么关 ...
分类：
其他好文 时间：
2018-10-16 13:40:57
阅读次数：
176
本文来自网易云社区 作者：王潘安 执行阶段 launchTask 回到Driver类的runInternal方法，看以下执行过程。在runInternal方法中，执行过程调用了execute方法。execute方法里面的内容很多，但是跟我们有关系的就只有launchTask方法。这个方法里面有这么关 ...
分类：
其他好文 时间：
2018-10-16 13:39:34
阅读次数：
204
