Block是文件块,HDFS中是以Block为单位进行文件的管理的,一个文件可能有多个块,每个块默认是3个副本,这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M,其大小由参数dfs.block.size控制。这里面先引申几个问题出来: ...
分类:
其他好文 时间:
2020-09-03 16:43:21
阅读次数:
40
一.环境描述:ADsystemos:windowsserver2012ADdomain:example.com(修改为实际domain)masterhost:ADmasterip:192.168.1.10DNS1:192.168.1.10ADmasterhostname:dc1slavehost:ADslaveip:192.168.1.11DNS2:192.168.1.11ADslavehostn
VS2019+OpenCV4.0 在完成分类器的训练,直接predict是没有问题的,但是保存xml文件后,再用以下的语句加载训练好的xml模型,predict出现了问题。 svm->save("svm.xml") svm->load<SVM>("trained-svm.xml"); OpenCV ...
分类:
其他好文 时间:
2020-08-20 19:00:30
阅读次数:
99
服役新的节点 1、首先克隆一个新的虚拟机,里面的hadoop等环境都配好了 之后修改ip通过 root进行登录,在原本好的虚拟机上进行分发操作 之后再发java 发环境变量 在新的虚拟机上进行: 这是重新运行环境变量 之后进入hadoop删除data和logs让他变成一个全新的机器 就会发现 dat ...
分类:
其他好文 时间:
2020-08-19 19:07:03
阅读次数:
65
####首先保证Node891或Node811等版本装成功了###### /opt/bigdata/elk/node891 ################ 修改目录权限 #################### [root@vwmaster hadoop]# chown -R root:root ...
分类:
其他好文 时间:
2020-08-17 17:45:14
阅读次数:
70
一、hdfs概述 介绍: 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类:
其他好文 时间:
2020-08-13 12:16:47
阅读次数:
60
一、Hadoop集群安装 1. 环境准备 (1) 准备三台机器:hadoop0(192.168.11.10)、hadoop1(192.168.11.11)、hadoop2(192.168.11.12) (2)每台机器安装好JAVA环境以及SSH打通(SSH免密登录;关闭防火墙) 2. 下载Hadoo ...
分类:
其他好文 时间:
2020-08-11 10:44:56
阅读次数:
79
视频学习: https://www.bilibili.com/video/BV1z441127qT?p=1 一、应用现状 一、项目结构 二、安装和使用 安装教程:https://www.bilibili.com/video/BV1z441127qT?p=5 ...
分类:
其他好文 时间:
2020-08-10 23:16:57
阅读次数:
82
使用 wx.login() 获取临时登录凭证code,并回传到开发者服务器。 // 登录 wx.login({ success: res => { // 发送 res.code 到后台换取 openId, sessionKey, unionId // console.log(res) if (res ...
分类:
微信 时间:
2020-08-10 20:58:34
阅读次数:
102