1.检查用户家目录中的 test.sh 文件是否存在，并且检查是否有执行权限 #!/bin/bash if [ -e ~/test.sh ];then echo "test.sh文件存在" if [ -x ~/test.sh ];then echo "test.sh文件有执行权限" else ech ...
分类：
系统相关 时间：
2021-07-19 16:31:26
阅读次数：
0
1、启动过程中出现Configuration has multiple addresses that match local node's address. Please configure the system with dfs.nameservice.id and dfs.ha.namenode ...
分类：
其他好文 时间：
2021-07-16 17:32:09
阅读次数：
0
在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j: ...
分类：
编程语言 时间：
2021-07-12 18:06:41
阅读次数：
0
今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
一个 Pg_dump SHELL 脚本 发表于 2010-11-23 | 分类于 PG备份与恢复 | 0 | 阅读次数: 518 最近有个处于开发阶段的项目需要DBA介入，希望DBA对这个项目的数据库进行备份。要到主机帐号后，先对数据库进行一翻熟悉，发现上面有虽然有9个库，但是数据量都不大，除了一个 ...
分类：
系统相关 时间：
2021-07-05 18:21:42
阅读次数：
0
问题描述： （1）使用Java API创建HDFS文件并写入内容的副本系数为3 （2）使用命令上传至HDFS中的文件副本数为1：举例[hadoop@hadoop000 software]$ hadoop fs -put jdk-8u91-linux-x64.tar.gz / 问题回答： （1）使用J ...
分类：
编程语言 时间：
2021-07-05 16:38:12
阅读次数：
0
检测Tomcat日志关键字异常 日常工作中经常会遇到Tomcat日志报特定的错误导致 Linux 服务器CPU暴涨，这时候需要重启应用才可以降下来 所以就需要写一个shell脚本，报出特定的错误就重启应用 shell脚本如下： [root@Mike-VM-Node-10_10_0_188 ~]# v ...
分类：
其他好文 时间：
2021-07-02 16:18:28
阅读次数：
0
运行 HDFS 命令，总是出现恼人的 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”... ...
分类：
其他好文 时间：
2021-07-02 16:04:09
阅读次数：
0
【推荐系统算法实战】 基于网页的 Notebook：Zeppelin 交互式数据分析 如果有一个工具，可以让你在同一个Web页面上写Shell代码，Python代码，Scala代码，你想要么？ 如果还可以执行PySpark代码和Spark代码呢？心动了吗？ 如果还可以写Hive-SQL，Spark- ...
分类：
编程语言 时间：
2021-07-02 15:35:46
阅读次数：
0
1.不能使用单引号 2.要对里面的双引号通过\进行转义 参考文章：https://www.cnblogs.com/iuskye/p/shell-json.html ...
分类：
Web程序 时间：
2021-07-02 15:30:00
阅读次数：
0
