存储越困难，提取越容易 HDFS客户端操作 开发环境准备 步骤一：编译对应HadoopJar包，配置Hadoop变量 步骤二：创建Maven工程，导入pom依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>juni ...
分类：
其他好文 时间：
2020-07-03 17:56:31
阅读次数：
59
准备4台虚拟机，安装好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作为master，其他3个作为slave，主节点也同时作为namenode的同时也是datanode，192.168.168.14作为datanode的同时也作为second... ...
分类：
其他好文 时间：
2020-07-03 12:23:28
阅读次数：
70
1、简要描述如何安装配置一个apache开源版hadoop，描述即可 （1）解压Hadoop （2）配置JDK，防火墙、Hadoop环境 （3）修改Hadoop配置 （4）格式化namenode，对数据缓存的的路径进行格式化 （5）启动Hadoop 2、请列出正常工作的hadoop集群中hadoop ...
分类：
其他好文 时间：
2020-07-03 00:53:22
阅读次数：
83
Table of Contents1. 引言1.1 EJB存在的问题1.2 什么是Spring1.3 ??设计模式1.4 简单工厂的设计1.5 通用工厂的设计1.6 通???的使??式1.7 总结：1. 引言1.1 EJB存在的问题运行环境苛刻代码移植性差1.2 什么是Spring Spring是一... ...
分类：
编程语言 时间：
2020-07-01 14:16:07
阅读次数：
60
Hadoop的广义与狭义之分 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS:分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架 广义的Hadoop:广义的Hadoop不仅仅包含Hadoop框架，除了Hadoop框架之外的一些 ...
分类：
其他好文 时间：
2020-06-30 22:14:42
阅读次数：
67
一、概述 Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用 ...
分类：
其他好文 时间：
2020-06-30 17:16:56
阅读次数：
54
遇到的问题： 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车 ...
分类：
其他好文 时间：
2020-06-29 21:28:22
阅读次数：
66
最近产品线后端无人，本人被拉去开发后端。 遇到个问题，在springio中配置文件（如：application-dev.yml）中的配置参数怎样在启动时指定。最直接的问题就是，我想打一个包，然后在启动时指定用开发环境dev还是生产环境prod的配置文件。 答案如下： export JAVA_OPTI ...
分类：
编程语言 时间：
2020-06-29 18:43:18
阅读次数：
71
安装JDK1.8 查看JDK1.8的安装 https://www.cnblogs.com/TJ21/p/13208514.html 安装hadoop 上传hadoop 下载hadoop 地址http://mirrors.hust.edu.cn/apache/hadoop/common/ 放到mkdi ...
分类：
其他好文 时间：
2020-06-29 17:13:37
阅读次数：
53
做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底 Hadoop配置集群事件同步 时间同步方式 找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间 配置时间同步步骤 1.时间服务器配置（必须root用户） rpm -qa|grep ntp 2.修 ...
分类：
其他好文 时间：
2020-06-29 17:07:37
阅读次数：
45
