1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-06-21 13:51:48
阅读次数：
57
一、概述 1.Hadoop 是 Apache提供的开源的、可靠的、可扩展的，用于分布式计算的框架 2.Hadoop 除了官网提供的发行版本以外，各大厂商也提供了发行版：Cloudera的CDH、华为的HDP 二、发展 1.创始人：Doug Cutting和Mike Cafarella 2.在2002 ...
分类：
其他好文 时间：
2020-06-21 13:27:38
阅读次数：
141
? 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Had ...
分类：
其他好文 时间：
2020-06-20 23:54:38
阅读次数：
100
#文件元数据 一块硬盘的分区可以认为有两部分组成，保存元数据的成为节点表，用来保存属性等。 元数据中有个小指针，指向数据存放的实际空间。 ##元数据（Metadata） 又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持 ...
分类：
系统相关 时间：
2020-06-20 16:57:00
阅读次数：
50
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
UBUNTU 连接不了cn.archive.ubuntu.com ubuntu系统更换源更换源的方法:修改/etc/apt/sources.list文件即可进入目录 /etc/apt cd /etc/apt在修改前先对 sources.list文件进行备份sudo cp sources.list s ...
分类：
系统相关 时间：
2020-06-20 10:52:16
阅读次数：
174
1 hadoop 在虚拟机上的安装与配置 下载地址 http://archive.cloudera.com/cdh5/cdh/5/ 演示的下载包 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 下载解压 环境c ...
分类：
其他好文 时间：
2020-06-20 00:48:56
阅读次数：
63
封装要求应用程序使用EJB 3.0是类似于J2EE平台。 EJB组件打包成jar文件的模块被打包成ear文件的应用企业归档。 主要的企业应用程序有三个组成部分。 jar - Java应用程序归档，包含EJB模块，EJB客户端模块和实用模块。 war - Web应用程序归档，包含Web模块。 ear ...
分类：
其他好文 时间：
2020-06-19 16:07:09
阅读次数：
52
dubbo-monitor官方源码地址：https://github.com/Jeromefromcn/dubbo-monitor 1.下载dubbo-monitor源码并解压 [root@hdss7-200 src]# wget https://github.com/Jeromefromcn/du ...
分类：
其他好文 时间：
2020-06-18 19:01:12
阅读次数：
94
Hadoop+Hive+Zookeeper+hbase+kylin环境搭建说明
分类：
其他好文 时间：
2020-06-18 16:08:02
阅读次数：
58
