Hive是个啥? 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据,避免MapReduce程序分析数据 2.数据存储在HDFS上,不是HIVE上 3.Hive将数据映射成数据库和一张张表,库和表的元数据信息一般存在关系型数据库。 元数据:描述数 ...
分类:
其他好文 时间:
2020-07-13 12:07:13
阅读次数:
73
CDH中hive报端口被占用,经排查并进行以下操作后恢复正常。 通过查看hive日志可用发现10000端口已经被占用,通过命令行可用查找出被占用端口的相应进程;将被占用端口的进程删掉(kill 187393)后,重启hive即恢复正常 ...
分类:
其他好文 时间:
2020-07-13 11:17:25
阅读次数:
62
容器是一种清理级、可移植、自包含的软件打包技术,使应用程序可以在几乎任何地方以相同的方式运行。 ...
分类:
其他好文 时间:
2020-07-13 09:43:45
阅读次数:
68
1/28 P101、ZooKeeper--概述和特性 P202、ZooKeeper--集群角色 P303、ZooKeeper--集群搭建上--描述&JDK安装 P404、ZooKeeper--集群搭建下--配置文件修改&启动 P505、ZooKeeper--数据模型 P606、ZooKeeper-- ...
分类:
其他好文 时间:
2020-07-12 18:49:39
阅读次数:
99
1. 非压缩 archive_command = 'cp %p /appdata/pgsql/pg_wal/%f && echo %f >> /appdata/pgsql/pg_wal/archive.list' restore_command = 'cp /appdata/pgsql/pg_wal ...
分类:
数据库 时间:
2020-07-11 10:04:36
阅读次数:
146
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS,查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源,存储资源,实现并行计算 Hive支持标准的SQL语法,免去了编写 ...
分类:
其他好文 时间:
2020-07-10 19:33:44
阅读次数:
77
hive mysql count distinct 多列 解释链接-mysql采坑之count distinct多列 不能使用算术比较运算符(如=,<或<>)来比较空值 COUNT(distinct expr)返回expr列中不同的且非空的行数 COUNT()有两个非常不同的作用:它可以统计某个列值 ...
分类:
数据库 时间:
2020-07-10 15:25:56
阅读次数:
116
XML文档解析,使用Linq to Xml方式操作确实很方便,好东西值得推荐 Models.AjaxResult.BlastSearchResult blastSearchResult = new Models.AjaxResult.BlastSearchResult(); var rssXDoc ...
分类:
Web程序 时间:
2020-07-10 11:37:15
阅读次数:
61
一、官网 https://zookeeper.apache.org/ 二、下载安装 (1)下载 复制链接地址 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz linux中执行 wge ...
分类:
系统相关 时间:
2020-07-07 16:09:23
阅读次数:
81
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:
其他好文 时间:
2020-07-06 15:47:59
阅读次数:
67