[TOC] 1. 前言 前提是已经安装好了hadoop，我的hadoop搭建主要参考 "CSDN的博客" ，当然此次Hive环境的搭建主要也是参考这位博主的另外一个 "博客" 。不过我想将搭配过程中他的博客没有提到的几个点记录下来。 2. MySQL安装 主要参考的是这篇 "博客" 的，但是出现的第 ...
分类：
其他好文 时间：
2019-06-19 16:38:18
阅读次数：
91
hive 调优（一）coding调优 本人认为hive是很好的工具，目前支持mr，tez，spark执行引擎，有些大公司原来封装的sparksql，开发py脚本，但是目前hive支持spark引擎（不是很稳定，建议Tez先），所以离线还是用hive比较好。 先将工作中总结，以及学习其他人的hive优 ...
分类：
其他好文 时间：
2019-06-19 12:15:58
阅读次数：
99
1、执行过程失败，报 Container killed on request. Exit code is 143 如下图： 分析：造成这种原因是由于总内存不多，而容器在jvm中占比过高，修改tez-site.xml文件，添加如下配置： 2、ERROR [main] exec.TaskRunner: ...
分类：
其他好文 时间：
2019-06-19 10:50:13
阅读次数：
249
不变模式 参考 一个对象的状态在对象被创建之后就不再变化，这就是所谓的不变模式。 不变模式的结构 不变模式可增强对象的强壮型(robustness)。不变模式允许多个对象共享某一个对象，降低了对该对象进行并发访问时的同步化开销。如果需要修改一个不变对象的状态，那么就需要建立一个新的同类型对象，并在创 ...
分类：
其他好文 时间：
2019-06-19 00:27:00
阅读次数：
111
第1节 hive安装：6、hive的基本操作；7、创建数据库的语法；8、hive当中创建内部表的语法。 hive的基本操作： 创建数据库与创建数据库表操作 创建数据库操作：create database if not exists xxx; 创建数据库表的操作： CREATE [EXTERNAL] ...
分类：
其他好文 时间：
2019-06-19 00:21:37
阅读次数：
134
1、执行计划（过往记忆https://www.iteblog.com/archives/2562.html） 2、逻辑计划优化方法： 谓词下推，列裁剪，常量替换，常量累加 3、优化方法 数据源方面： 1、hive 使用parquet格式，不要用textfile。列式存储便于查询引擎做块遍历、谓词下推 ...
分类：
数据库 时间：
2019-06-18 23:01:37
阅读次数：
303
最近因为公司突然间说要升级php7，所以做个记录 PPA 方式安装 php7.2 : sudo apt-get install software-properties-common 添加 php7 的 PPA sudo add-apt-repository ppa:ondrej/php 更新安装包 ...
分类：
Web程序 时间：
2019-06-18 21:31:34
阅读次数：
208
1.Hue 概述及版本下载 1）概述 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行 ...
分类：
其他好文 时间：
2019-06-18 14:26:51
阅读次数：
159
第1节 hive安装： 2、数据仓库的基本概念； 3、hive的基本介绍； 4、hive的基本架构以及与hadoop的关系以及RDBMS的对比等 5、hive的安装之（使用mysql作为元数据信息存储） 课程内容：hive1、数据仓库的基本概念 了解2、hive基本概念 hive的安装部署 搞定3、 ...
分类：
其他好文 时间：
2019-06-18 14:00:22
阅读次数：
111
Oracle中一般将自增sequence重置为初始1时，都是删除再重建，这种方式有很多弊端，依赖它的函数和存储过程将失效，需要重新编译。不过还有种巧妙的方式，不用删除，利用步长参数，先查出sequence的nextval，记住，把递增改为负的这个值（反过来走），然后再改回来。 假设需要修改的序列名： ...
分类：
数据库 时间：
2019-06-18 13:57:27
阅读次数：
135
