1.Error initializing SparkContext. 20/06/29 05:52:43 INFO yarn.Client: Deleted staging directory hdfs://master:9000/user/hadoop/.sparkStaging/applicat ...
分类：
其他好文 时间：
2020-06-29 15:02:48
阅读次数：
96
文件和目录常用命令 目标 查看目录内容 ls 切换目录 cd 创建和删除操作 touch rm mkdir 拷贝和移动文件 cp mv 查看文件内容 cat more grep 其他 echo 重定向 > 和 >> 管道 | 01. 查看目录内容 1.1 终端实用技巧 1> 自动补全 在敲出 文件／ ...
分类：
系统相关 时间：
2020-06-29 13:25:09
阅读次数：
68
Docker搭建Samba 1、拉取Samba镜像 docker pull dperson/samba 2、运行容器 docker run -it -p 139:139 -p 445:445 --name samba -d --rm -v /root/thinkPHP/web:/mount dper ...
分类：
其他好文 时间：
2020-06-29 13:22:36
阅读次数：
58
Running LLAP as a YARN Service 因为 Apache Slider 已经不维护了，下面介绍 不使用 Slider 的 LLAP使用方式。 参考： https://blog.cloudera.com/apache-hive-llap-as-a-yarn-service/ 将 ...
分类：
其他好文 时间：
2020-06-28 12:39:20
阅读次数：
108
yarn是Facebook公司出品的用于管理nodejs包的一款软件。yarn是为了弥补 npm 的一些缺陷而出现的，建议使用yarnnpm是随同nodejs一起安装的包管理工具。cnpm是淘宝 npm镜像，更快。 一、安装yarn 1、安装node 2、安装yarn npm install -g ...
分类：
Web程序 时间：
2020-06-28 12:35:44
阅读次数：
77
1、删除一个大文件 我在生产服务器上有一个很大的200GB的日志文件需要删除。我的rm和ls命令已经崩溃，我担心这是由于巨大的磁盘IO造成的，要删除这个大文件，输入： > /path/to/file.log # 或使用如下格式 : > /path/to/file.log # 然后删除它 rm /pa ...
分类：
其他好文 时间：
2020-06-28 00:23:01
阅读次数：
75
Hadoop的核心由3个部分组成： HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。 YARN: Yet Another Resource Negotiator，资 ...
分类：
其他好文 时间：
2020-06-27 18:39:42
阅读次数：
68
目标 查看目录内容 ls 切换目录 cd 创建和删除操作 touch rm mkdir 拷贝和移动文件 cp mv 查看文件内容 cat more grep 其他 echo 重定向 > 和 >> 管道 | 01. 查看目录内容 1.1 终端实用技巧 1> 自动补全 在敲出 文件／目录／命令 的前几个 ...
分类：
系统相关 时间：
2020-06-27 12:01:17
阅读次数：
93
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
一、yarn的简介： Yarn是facebook发布的一款取代npm的包管理工具。 二、yarn的特点： 1.速度超快。Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。2.超级安全。在执行代码之前，Yarn 会通过算法校验每个安装包 ...
分类：
其他好文 时间：
2020-06-26 16:11:27
阅读次数：
107
