一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
原文链接： https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化（Data locality）是指将计算移动到数据所在的节点，而不是移动数据移动到计算所在的节点。在Hadoop中，一 ...
分类：
其他好文 时间：
2021-06-18 19:09:26
阅读次数：
0
3.Shell编程 1.shell是什么 shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用shell来启动、挂起、停止一些程序。 ###2. shell脚本的执行方式 ### 脚本格式要求 1.脚本以#!/bin/bash开头 2.脚本 ...
分类：
系统相关 时间：
2021-06-18 19:00:06
阅读次数：
0
备份数据库 我们的数据在时刻更新着，当数据量到达一定程度时就需要进行备份，方便我们进行管理 本篇介绍怎么在指定时间备份数据库并打包，同时在满足某一个条件时就删除已经备份过的数据库文件 shell编程综合案例 需求分析 每天凌晨2:30备份数据库 数据库名到 /data/backup/db 备份开始和 ...
分类：
数据库 时间：
2021-06-18 18:58:34
阅读次数：
0
InputSplit是block和mapper之间的代理，也即是为mapper提供了一个数据视图。 我们以HDFS的block的大小为128MB举例，当一行日志为130MB（包括行分隔符），这一行数据会被分在两个block中，如果mapper直接读block的话，会读到一个被截断的行日志。这是为什么 ...
分类：
其他好文 时间：
2021-06-18 18:49:59
阅读次数：
0
https://blog.csdn.net/QYmufeng/article/details/79580582 我的环境： 系统平台：Ubuntu14.04TLS（64位） Hadoop环境：Hadoop2.8.3 Eclipse：Neon.2 Release(4.6.2) Eclipse插件：ha ...
分类：
系统相关 时间：
2021-06-17 17:05:08
阅读次数：
0
一、Linux应用程序基础 1、应用程序和系统命令的关系 角色 系统命令 应用程序 文件位置 一般在/bin和/sbin目录中，或为Shell内部指令 通常在/usr/bin、/usr/sbin 和/usr/local/bin、/usr/local/sbin 目录中 主要用途 完成对系统的基本管理工 ...
分类：
其他好文 时间：
2021-06-17 16:50:34
阅读次数：
0
元字符 元字符指的是能够被shell解释的特殊字符，每个特殊字符都有其特殊含义，这些字符一方面可用于变量值的运算、我们可以称之为运算符，另外一方面可以和shell命令配合使用来达到更高级的效果 算数运算符 运算符 - / % 算数运算符需要配合下述操作使用 # 浮点运算 bc # 整数运算 expr ...
分类：
其他好文 时间：
2021-06-16 18:34:56
阅读次数：
0
1 问题背景 nginx 安全漏洞(CVE-2019-9511) nginx 安全漏洞(CVE-2019-9513) nginx 安全漏洞(CVE-2019-9516) http://www.cnnvd.org.cn/web/xxk/ldxqById.tag?CNNVD=CNNVD-201908-9 ...
分类：
系统相关 时间：
2021-06-16 18:19:57
阅读次数：
0
报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na ...
分类：
其他好文 时间：
2021-06-16 18:06:59
阅读次数：
0
