启动postfix的时候报错： [root@hadoop002 tmp]# systemctl enable postfix && systemctl start postfix Job for postfix.service failed because the control process e ...
分类：
其他好文 时间：
2020-01-22 21:58:29
阅读次数：
90
大部分人没有交换分区的问题。 因为在做Linux的时候交换分区是按照内存的2倍来做的。但是我的是用VM快速装机做的。所以交换分区被设置成了等于内存。 扩展交换分区：https://blog.csdn.net/Ares_song/article/details/81203251 永久添加该文件：htt ...
分类：
Web程序 时间：
2020-01-22 14:50:26
阅读次数：
210
hadoop 集群中有两种节点，一种是namenode，还有一种是datanode。 其中datanode主要负责数据的存储，namenode主要负责三个功能，分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下，元数据格式 hdfs在外界看来就是普通的文件系统，可以通过路径进行 ...
分类：
其他好文 时间：
2020-01-22 13:07:22
阅读次数：
117
1、pom.xml 版本号 <properties> <hbase.version>2.2.2</hbase.version> <hadoop.version>2.10.0</hadoop.version> <spark.version>2.4.2</spark.version> </propert ...
分类：
其他好文 时间：
2020-01-22 12:57:25
阅读次数：
62
一、Hadoop NameNode详解 参考： https://blog.csdn.net/lb812913059/article/details/78713634 （主要看这篇即可） https://blog.csdn.net/u010846741/article/details/52369527 ...
分类：
其他好文 时间：
2020-01-22 10:53:54
阅读次数：
65
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
回家之后还是一如既往的一堆活需要干，前天写完进度二没有保存，就没有再发。 所以我从新捋一下思路，记得上次的内容有一个点，我相信初学linux 的同学都会有这个问题 在linux 的系统中要配置hadoop首先会有配置文件内容这一步骤。然而Linux操作系统中文件的修改方式是完全不同于windows的 ...
分类：
其他好文 时间：
2020-01-21 13:22:10
阅读次数：
78
配置HADOOP_HOME和配置Path环境变量环境变量 创建一个Maven工程 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version ...
Hive基础（一）原创人间怪物 最后发布于2018-12-19 15:35:03 阅读数 2918 收藏展开1.Hive是什么 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。H ...
分类：
其他好文 时间：
2020-01-20 18:44:17
阅读次数：
86
在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
