在使用MPI框架中，需要多机进行通信进行并行计算；现在配置多个主机进行运行mpi程序，并进行通信；涉及到ssh无密码和nfs文件系统配置； 参考文档： https://mpitutorial.com/tutorials/running-an-mpi-cluster-within-a-lan/ 配置如 ...
分类：
其他好文 时间：
2020-06-02 19:04:48
阅读次数：
154
启动 将配置文件设置好，然后执行相应的文件，启动程序。 windows 直接执行可执行文件 2. linux的supervisor配置(后台启动) /home/nginx/sbin/nginx -g 'daemon off;' -c /home/nginx/conf/nginx.conf -p /h ...
分类：
其他好文 时间：
2020-06-02 11:24:53
阅读次数：
165
When you change the name of the computer that is running SQL Server, the new name is recognized during SQL Server startup. You do not have to run Setu ...
分类：
数据库 时间：
2020-06-01 20:53:21
阅读次数：
104
原因16.04升级到18.04 解决方法。 open /etc/initramfs-tools/conf.d/resume replace RESUME=UUID=xxx with RESUME=none issue sudo update-initramfs -u reboot your syst ...
分类：
其他好文 时间：
2020-06-01 13:36:12
阅读次数：
88
1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb ...
分类：
其他好文 时间：
2020-06-01 13:34:08
阅读次数：
62
数据库主从出错： Slave_IO_Running: No 一方面原因是因为网络通信的问题也有可能是日志读取错误的问题。以下是日志出错问题的解决方案： Last_IO_Error: Got fatal error 1236 from master when reading data from bin ...
分类：
其他好文 时间：
2020-05-31 21:49:50
阅读次数：
90
Spark提供的主要抽象是resilient distributed dataset（RDD） 弹性分布式数据集，它是跨集群节点划分的元素的集合，可以并行操作。通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序中现有的Scala集合开始并进行转换来创建RDD。用户还 ...
分类：
编程语言 时间：
2020-05-31 16:03:22
阅读次数：
92
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
第10章 Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标，各种TopN指标： 统计视频观看数Top10 统计视频类别热度Top10 统计出视频观看数最高的20个视频的所属视频类别以及对应视频类别的个数 统计视频观看数Top50所关联视频的所属类别Rank 统计每个类别中的 ...
分类：
其他好文 时间：
2020-05-30 20:22:47
阅读次数：
68
WireMock功能强大，本文记录一下它一个基础功能，快速伪造REST服务。 1、下载WireMock独立运行包 进入官网http://wiremock.org，点击Docs，Running as a Standalone，点击downloaded the standalone JAR下载 2、运行 ...
分类：
其他好文 时间：
2020-05-30 19:56:56
阅读次数：
58
