环境描述：redhat7.3 CDH5.15.1 采用parcels方式部署 报错描述：airflow调度程序，最近2周偶尔报错，报错类型有2类：1、无法初始化集群配置；2、读取配置权限问题 报错一： Launching Job 1 out of 1 Number of reduce tasks i ...
分类：
其他好文 时间：
2019-12-24 19:03:56
阅读次数：
337
创建一个商城表 包含（id，商品名，每一个商品对应数量） create table product (id primary key auto_increment, pname varchar(64), pcount int); ...
分类：
数据库 时间：
2019-12-24 09:50:29
阅读次数：
163
在向Hbase中写入数据时，常见的写入方法有使用HBaseAPI，Mapreduce批量导入数据，使用这些方式带入数据时，一条数据写入到HBase数据库中的大致流程如图。数据发出后首先写入到雨鞋日志WAl中，写入到预写日志中之后，随后写入到内存MemStore中，最后在Flush到Hfile中。这样写数据的方式不会导致数据的丢失，并且道正数据的有序性，但是当遇到大量的数据写入时，写入的速度就难以保
分类：
其他好文 时间：
2019-12-23 11:44:43
阅读次数：
247
4.1概述 1. HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化松散数据。 2. HBase与传统数据库的区别 数据类型上的区别，它把数据存储为未经解释的字符串 数据操作，没有像关系型数据库那样的复杂数据操作，通常采用单 ...
分类：
数据库 时间：
2019-12-23 00:30:13
阅读次数：
151
关系型数据库与非关系型数据库关系型数据库：一个机构化的数据库，创建在关系模型基础上，一般面向于记录包括oracle、mysql、sqlserver、db2非关系型数据库：除了主流的关系型数据库意外的数据库，都人为是非关系型的包括redis、mongdb、hbase、couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类：
数据库 时间：
2019-12-22 22:50:27
阅读次数：
125
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
[TOC] 在前面的文章中，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。 一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。 本文来自笔者此前对 HBase 做的学习概括，可方便于对 HBase 的技术全 ...
分类：
其他好文 时间：
2019-12-22 14:59:00
阅读次数：
113
SQL -> Multi Tables 主键：唯一、非空，经常用于JOIN的场景。一般设为auto_increment，用于唯一标示记录。 外键：主键对应到另外一张表的字段映射，外键的存在就是为了连接多个表。 内连接：JOIN就是INNER JOIN，一张动图胜过千言万语。 （外）左连接：合并所有记 ...
分类：
数据库 时间：
2019-12-21 22:52:31
阅读次数：
87
1.创建分区表 CREATE TABLE `fs_orders_funds_detail_sp32` ( `id` int(11) NOT NULL AUTO_INCREMENT, `confirm_time` datetime NOT NULL DEFAULT '0000-00-00 00:00: ...
分类：
数据库 时间：
2019-12-21 18:24:50
阅读次数：
175
关系型数据库与非关系型数据库关系型数据库：一个机构化的数据库，创建在关系模型基础上，一般面向于记录包括oracle,mysql,sqlserver,db2非关系型数据库：除了主流的关系型数据库意外的数据库，都人为是非关系型的包括redis,mongdb,hbase,couhdb非关系型数据库产生背景对数据库高并发读写需求对海量数据高效存储与访问需求对数据库高可扩展性与高可用需求Redis简介Red
分类：
数据库 时间：
2019-12-20 20:25:01
阅读次数：
89
