一、Hadoop NameNode详解 参考： https://blog.csdn.net/lb812913059/article/details/78713634 （主要看这篇即可） https://blog.csdn.net/u010846741/article/details/52369527 ...
分类：
其他好文 时间：
2020-01-22 10:53:54
阅读次数：
65
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
回家之后还是一如既往的一堆活需要干，前天写完进度二没有保存，就没有再发。 所以我从新捋一下思路，记得上次的内容有一个点，我相信初学linux 的同学都会有这个问题 在linux 的系统中要配置hadoop首先会有配置文件内容这一步骤。然而Linux操作系统中文件的修改方式是完全不同于windows的 ...
分类：
其他好文 时间：
2020-01-21 13:22:10
阅读次数：
78
配置HADOOP_HOME和配置Path环境变量环境变量 创建一个Maven工程 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version ...
Hive基础（一）原创人间怪物 最后发布于2018-12-19 15:35:03 阅读数 2918 收藏展开1.Hive是什么 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。H ...
分类：
其他好文 时间：
2020-01-20 18:44:17
阅读次数：
86
在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
基于VMware 15+CentOS 7+Hadoop 2.6，各种考虑和条件都是基于我个人的现状和操作习惯，主要用于个人学习。个人理解，水平有限。 hadoop搭建一：虚拟机网络配置和基础 hadoop搭建二：hadoop全分布搭建 hadoop搭建三：hadoop伪分布搭建 hadoop搭建四： ...
分类：
其他好文 时间：
2020-01-19 17:42:17
阅读次数：
141
一、运行速度方面： Spark把中间数据放到内存中，迭代运算效率高。 Hadoop MapReduce将计算结果保存到磁盘上，这样会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。 二、容错方面： Spark引进了弹性分布式数据集RDD ...
分类：
其他好文 时间：
2020-01-18 21:41:13
阅读次数：
106
linux环境 假设hdfs安装路径（例如是）： /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件，例如hive表的 ...
分类：
Web程序 时间：
2020-01-18 21:10:35
阅读次数：
172
参考链接：https://www.zhihu.com/question/333417513 hadoop环境搭建：https://blog.csdn.net/hliq5399/article/details/78193113/ ...
分类：
其他好文 时间：
2020-01-18 19:33:32
阅读次数：
70
