HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于 ...
分类：
其他好文 时间：
2021-06-30 17:40:30
阅读次数：
0
1.会编程，参考实验 1.1编程实现词频统计基本操作 主函数 public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //程序运行时参数 String[] o ...
分类：
其他好文 时间：
2021-06-29 16:02:29
阅读次数：
0
1.简介 前边宏哥已经将环境搭建好了，今天就在Java项目搭建环境中简单地实践一下： 启动三大浏览器。按市场份额来说，全球前三大浏览器是：IE.Firefox.Chrome。因此宏哥这里主要介绍一下如何启动这三大浏览器即可，其他浏览器类似的方法，照猫画虎就可以了。 2.启动浏览器准备工作 2.1准备 ...
分类：
编程语言 时间：
2021-06-29 15:40:57
阅读次数：
0
centOS 7.6 + docker +mysql5.7 1.下载Mysql5.7: docker pull mysql：5.7 2.创建挂载目录 : mkdir -p /home/doufu/docker/mysql/config mkdir -p /home/doufu/docker/mysq ...
分类：
数据库 时间：
2021-06-29 15:22:02
阅读次数：
0
1、列出子目录或子文件 hdfs dfs -ls +路径 2、创建目录(-p表示父目录都会创建) hdfs dfs -mkdir -p /001/mydemo/x/y/z hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5 3、列出文件夹中的 ...
分类：
其他好文 时间：
2021-06-28 21:04:34
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
在《RobotFramwork + Python 自动化入门 一》中，完成了一个Robot环境搭建及测试脚本的创建和执行。 在《RobotFramwork + Python 自动化入门 二》中，对RobotFramework的关键字使用和查看源码进行了介绍。 在《RobotFramwork + Py ...
分类：
编程语言 时间：
2021-06-28 19:02:49
阅读次数：
0
并发编程-ThreadLocal&ForkJoinPool（使用以及原理分析） 本章只要聊聊两个东西，这里会给出如何使用他们，并且分析各自的源码以及原理。 【ThreadLocal】：在指定线程中存储数据，数据存储后只有指定线程可以获得 【ForkJoinpool】：实际上他类似于【hadoop】他 ...
分类：
其他好文 时间：
2021-06-28 18:58:16
阅读次数：
0
环境搭建 因为装饰器属于一个在提案中的语法，所以不管是node还是浏览器，现在都没有直接支持这个语法，我们要想使用该语法，就必须要通过babel将它进行一个编译转换，所以我们需要搭建一个babel编译环境。 1、安装babel相关包 npm i @babel/cli @babel/core @bab ...
分类：
编程语言 时间：
2021-06-28 18:33:09
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
