前面几篇文章，我们已经完成了一个分布式项目，本文将阐述如何在linux系统中部署项目。 1、前提约束 已经完成前面几节的操作 https://www.jianshu.com/p/47769396fb33 已经安装好CentOS7服务器 https://www.jianshu.com/p/2b6340 ...
分类：
系统相关 时间：
2020-03-27 16:51:28
阅读次数：
87
--删除某个目录下以*.csv结尾的文件 find /data -name "*.csv" | xargs rm --查看隐藏文件 ll -a --查看文件目录下内存分布 du --max-depth=1 -h --查看磁盘大小 df -h --查看内存总大小 top --编辑命令 vi +文件 i ...
分类：
系统相关 时间：
2020-03-27 15:35:49
阅读次数：
99
1.终端版本 $ python3 2.删除框架 $ ls /Library/Frameworks/Python.framework/Versions/ 强制删除 $ sudo rm rf /Library/Frameworks/Python.framework/Versions/3.7 3.删除目录 ...
分类：
编程语言 时间：
2020-03-27 12:30:24
阅读次数：
361
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题，实现高可用？ 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类：
其他好文 时间：
2020-03-27 10:40:50
阅读次数：
117
1、背景： 在做spark history complete和incomplete测试的时候，我们使用spark-shell启动了一个on yarn的任务，如果我们只是启动了，没有进行任何计算的话，那么我们在incomplete里面是看读的任务的，退出的时候可以在complete中可以看到，那么为什 ...
分类：
其他好文 时间：
2020-03-26 21:41:45
阅读次数：
142
字体加粗的为文件夹，反之为文件 rm -rf jdk1.8.0_73 删除当前文件夹（ jdk1.8.0_73）包括其子文件夹以及文件 java -version 查看jdk版本ll 查看当前路径内容tar zxf jdk-7u80-linux-x64.tar.gz 解压（jdk-7u80-linu ...
分类：
系统相关 时间：
2020-03-26 21:14:58
阅读次数：
81
linux下文件的复制、移动与删除命令为：cp，mv，rm一、文件复制命令cp 命令格式：cp [-adfilprsu] 源文件(source) 目标文件(destination) cp [option] source1 source2 source3 ... directory 参数说明：-a:是 ...
分类：
移动开发 时间：
2020-03-26 15:11:33
阅读次数：
89
有时候，.gitignore会对部分文件/文件夹失效，大概原因是由于新创建的文件已经出现在git本地仓库的缓存，所以.gitignore就失效了 解决办法就是清空一下git仓库的缓存，重新提交一次就好了 git rm -r --cached . git add . git commit -m "up ...
分类：
其他好文 时间：
2020-03-26 12:28:05
阅读次数：
105
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name="OrderQZ" spark-shell --master yarn --deploy-mode client \ --queue $realtime_queu ...
分类：
其他好文 时间：
2020-03-26 01:02:34
阅读次数：
81
前言 yarn是什么？ 简单来说是和npm一样的包管理工具，并对npm的一些弊端提供了优化和解决方案 yarn和npm的区别？ 安装速度更快，缓存了每个下载过的包，再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率， 运行代码前会校验每个安装包的完整性和统一性，使其在不同系统上也能无差别的 ...
分类：
其他好文 时间：
2020-03-25 23:27:50
阅读次数：
82
