1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式,只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep ...
分类:
其他好文 时间:
2019-09-03 22:18:44
阅读次数:
109
package test.hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyste... ...
分类:
其他好文 时间:
2019-09-03 22:13:14
阅读次数:
134
在容器中使用systemctl报Failed to get D-Bus connection: Operation not permitted的错误,则在启动的时候把sys/fs/cgroup映射到docker容器中。 docker run --privileged --name=test --ho ...
分类:
其他好文 时间:
2019-09-01 14:43:36
阅读次数:
98
两种方案 B类 D类 因压电驱动器可等效为RLC电路,如图1,有以下几个特点: 低频高频容性,中频感性 C0和Cg在高低频对的贡献不同,低频以C0为主,高频以Cg为主 fp附近感性容性切换不连续 电抗突变容易引起功放不稳定,且相同放大倍数时高频功放价格较高,因此选择功放的带宽需要在fs以下。 图1 ...
分类:
其他好文 时间:
2019-09-01 12:26:16
阅读次数:
97
需要创建大量hdfs目录的原因:配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录,因此需要创建很多。 正常创建目录都是使用 hadoop fs -mkdir -p /aa/bb/01 少数目录可以这么创建,但是目录过多创建就会很慢,因为创建一个目录就需 ...
分类:
其他好文 时间:
2019-08-30 18:48:07
阅读次数:
73
nodeJS实现简易爬虫 需求:使用nodeJS爬取昵图网某个分类下的图片并存入本地 + 运用nodeJS自带系统模块http、fs 示例代码: ...
分类:
Web程序 时间:
2019-08-28 17:10:14
阅读次数:
122
AWK 内置变量表 1、常用操作 [chengmo@localhost ~]$ awk '/^root/{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash /^root/ 为选择表达式,$0代表是逐行 2、设置字段分隔符号(FS使用方法) ...
分类:
其他好文 时间:
2019-08-28 13:20:06
阅读次数:
69
异步的形式总是将完成回调作为其最后一个参数。 传给完成回调的参数取决于具体方法,但第一个参数始终预留用于异常。 如果操作成功完成,则第一个参数将为 null 或 undefined。 1.读取文件操作(readFile) 举个例子(读取文件操作) 同步会先执行完 [尽量用异步] 2.写文件(writ ...
hive的hiveserver2模式启动不起来,发现Hadoop一直处于安全模式 === 命令介绍 命令hadoop fs –safemode get 查看安全模式状态 命令hadoop fs –safemode enter 进入安全模式状态 命令hadoop fs –safemode leave ...
分类:
其他好文 时间:
2019-08-23 13:12:51
阅读次数:
125
// 数据存储在users.json文件中 const express = require("express"); const fs = require("fs"); const cors = require("cors"); const bodyParser = require("body-par... ...
分类:
其他好文 时间:
2019-08-22 14:39:24
阅读次数:
107