水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
Hive是个啥？ 用类似sql语句实现对分布式存储系统的数据读写、管理功能。 HIVE特点 1.使用类sql语句分析大数据，避免MapReduce程序分析数据 2.数据存储在HDFS上，不是HIVE上 3.Hive将数据映射成数据库和一张张表，库和表的元数据信息一般存在关系型数据库。 元数据：描述数 ...
分类：
其他好文 时间：
2020-07-13 12:07:13
阅读次数：
73
CDH中hive报端口被占用，经排查并进行以下操作后恢复正常。 通过查看hive日志可用发现10000端口已经被占用，通过命令行可用查找出被占用端口的相应进程；将被占用端口的进程删掉（kill 187393）后，重启hive即恢复正常 ...
分类：
其他好文 时间：
2020-07-13 11:17:25
阅读次数：
62
容器是一种清理级、可移植、自包含的软件打包技术，使应用程序可以在几乎任何地方以相同的方式运行。 ...
分类：
其他好文 时间：
2020-07-13 09:43:45
阅读次数：
68
0 概述 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 1 虚拟机准备 1）. 克隆虚拟机 2）. 修改克隆虚拟机的静态IP 3）. 修改主机名 4）. ...
分类：
系统相关 时间：
2020-07-12 22:11:59
阅读次数：
88
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
1 Hadoop是什么 2 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hado ...
分类：
其他好文 时间：
2020-07-12 00:59:06
阅读次数：
92
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
1. 非压缩 archive_command = 'cp %p /appdata/pgsql/pg_wal/%f && echo %f >> /appdata/pgsql/pg_wal/archive.list' restore_command = 'cp /appdata/pgsql/pg_wal ...
分类：
数据库 时间：
2020-07-11 10:04:36
阅读次数：
146
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
