一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
InputSplit是block和mapper之间的代理，也即是为mapper提供了一个数据视图。 我们以HDFS的block的大小为128MB举例，当一行日志为130MB（包括行分隔符），这一行数据会被分在两个block中，如果mapper直接读block的话，会读到一个被截断的行日志。这是为什么 ...
分类：
其他好文 时间：
2021-06-18 18:49:59
阅读次数：
0
导出文件显示的名称和预想不符，一般是文件名的无法被识别，需要通过单独编码才行 response["Content-Disposition"] = "attachment; filename*=UTF-8''{}".format(escape_uri_path(filename)) filename为 ...
分类：
其他好文 时间：
2021-06-16 18:23:41
阅读次数：
0
MarkDown学习 二级标题 三级标题 四级标题 字体 hello，world！ 粗体字两旁两个*号 hello，world！斜体一个*号 hello，world！加粗斜体三个*号 hello，world！横杠两个~号 引用 冰冻三尺非一日之寒 >符号引用 分割线 表示分割线 ***也是分割线 图 ...
分类：
其他好文 时间：
2021-06-16 18:12:55
阅读次数：
0
报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na ...
分类：
其他好文 时间：
2021-06-16 18:06:59
阅读次数：
0
导读 本文是推荐学Java 系列第四篇，通过前三篇内容已经搞定了 JavaSE 的内容，接下来是真正进入Java后端开发的视界。先来了解基本学习路线，可能你会有这样的疑问：前端的内容到底该不该学？Java开发需不需要会前端？下面就来一一剖析。 Java正则表达式 在开始之前，先带大家学习一下Java ...
分类：
编程语言 时间：
2021-06-15 18:22:22
阅读次数：
0
什么是 readme§ A readme (or read me) file contains information about other files in a directory or archive and is very commonly distributed with computer ...
分类：
其他好文 时间：
2021-06-13 09:57:10
阅读次数：
0
1、背景 工作需要安装centos系统，特此记录下过程 2、准备工作 U盘一个，需要格式化（大于4G，毕竟ISO文件就已经大于4G了） CentOS7.1 iso文件一个 UltraISO工具（制作启动U盘） 下载地址: https://cn.ultraiso.net/xiazai.html 注册码 ...
分类：
系统相关 时间：
2021-06-11 18:34:39
阅读次数：
0
create temporary table temp_t like t1; alter table temp_t add index(b); insert into temp_t select * from t2 where b>=1 and b<=2000; select * from t1 j ...
分类：
其他好文 时间：
2021-06-10 18:34:39
阅读次数：
0
1.创业的感受 累，累，累，已经连续创业3天，2晚失眠睡不着，中午午休也睡不着，衣带渐宽终不悔，为伊消得人憔悴，哈哈....。但是觉得自己在成长和进步，连续不断的输出，让我不得已不断的学习，不断的输入。有时候会觉得，特别的孤独，特么的说好大家一起开源，一起创业，但是真正行动的时候，都看不到人，感觉一 ...
分类：
数据库 时间：
2021-06-10 18:02:17
阅读次数：
0
