标签：大数据 mpj express 并行计算 mpi
在前面的两个PART中，我们分别搭建了并行开发环境，并小试牛刀实践了简单的并行开发。
http://blog.csdn.net/baimafujinji/article/details/45195285
当然在这个过程中，出现这样或那样的问题是在所难免的，这一部分我们就来讨论一下其中可能会遇到的问题。
问题1：当我们搭建好开发环境后，我们需要试用一下mpjdaemon批处理命令，此时可能遇到的一个问题是： Port is not available，如下图所示。
问题在于端口不可用。我们根据提示找到配置文件mpjexpress.conf所在的文件夹，然后用记事本把它打开，如下所示。可见，默认情况下port.1=10000，port.2=10001。
此时，我们只需对端口进行调整，例如修改为下面这种结果（当然，应该保证8888和8889并没有被占用）
修改完成后保存文件，问题即得到解决。
问题2：注意到我们把解压后的MPJ Express文件存于路径“D:\mpj-v0_43”下，并相应的将环境变量MPJ_HOME赋值为D:\mpj-v0_43。如果我们将文件存于路径“D:\Program Files\mpj-v0_43”下，并相应的修改环境变量赋值，将会有什么变化？
这似乎是一个看起来完全不是问题的问题，但是一旦我们这样做了，当再使用mpjdaemon批处理命令时，就会遇到下面这种情况。
结果显示报错了！
Error: Unable to access jarfile D:\Program
系统没有办法访问相应的jar文件。但是为什么？这是因为Program Files这个文件夹的名字不合法。这种文件夹的名字在Windows中当然没有任何问题，对于我们日常的大多数应用开发而言这也不会成为一个问题。但是在MPJ Express中，文件夹的名字中间是不能包含有“空格”的。我们都知道，在控制台中输入一条指令时，空格通常是用来间隔操作符与操作数的，或者可以认为空格也是有意义的，因此MPJ Express中的批处理命令在解析一个带有空格的路径名的时候就会产生混乱。这就是问题所在。所以只要我们把MPJ Express文件的存放路径稍作调整即可消除此类问题。
此外，在命令行中查看当前环境变量设置情况的一个简单方法是使用echo指令，例如
问题3：上一个问题除了会发生在控制台操作界面上以外，在Eclipse中也会出现。回想在PART2中，我们设置VM arguments参数时是这样写的
-jar D:/mpj-v0_43/lib/starter.jar
-np 4
可见我们使用了一个绝对路径！而更多的时候我们都习惯于写相对路径，此时用户需要在菜单栏中选择"Window"，然后在下拉菜单中选择"Preferences"，如下所示。
然后在从左侧的列表中选择“String Substitution”，并新建一个“变量替换”，如下所示。
完成上述步骤后，我们就可以使用形如下面这种情况的相对路径了。
-jar ${MPJ_HOME}/lib/starter.jar
这里我们需要注意，MPJ_HOME的值仍然不能等于一个有空格的路径，否则就会出现下面这个错误，原理与问题2相同，这里不再赘述。
问题4：最后我们讨论一下在命令下编译运行并行程序的方法。
import mpi.*;
public class HelloWorld{
public static void main(String[] args) throws Exception
{
MPI.Init(args);
int me = MPI.COMM_WORLD.Rank();
int size = MPI.COMM_WORLD.Size();
System.out.println ("Hi from " + me + " of " + size + "\n");
MPI.Finalize();
}
}
编译指令示例: javac -cp .;%MPJ_HOME%/lib/mpj.jar HelloWorld.java
执行指令示例: mpjrun.bat -np 4 HelloWorld a //其中a是一个任意指定的参数
执行结果，如下所示。
上面这种情况是执行并行计算的第一种场景，即在多核配置下执行MPJ Express 程序。
我们通过mpjrun.bat -np 后面的数字来指定核的数量。
另外一种场景是在集群（Cluster）配置下执行MPJ Express 程序。
集群配置: 如果开发人员期望在分布式内存平台（包括集群和计算机网络）上执行并行JAVA程序，那么他们就会采样这种配置场景。
对于这种集群配置，一共有四种选项，如下:
1) niodev - 使用 Java NIO Sockets
2) mxdev - 使用 Myrinet eXpress (MX) library for Myrinet networks
3) hybdev - 针对多核处理的集群
4) native - 使用一个 native MPI library (curretly only tested under MS-MPI for Windows)
具体使用时写一个名为"machines"的文件，并在其中指定用于并发执行的所有主机名或IP地址。
执行方法
对于 niodev, hybdev and mxdev
1) 开启守护: mpjdaemon.bat -boot
- 你将需要在每一个开启守护的机器上手动地执行该命令。
2) 执行指令示例: mpjrun.bat -np 4 -dev niodev HelloWorld
-- 其中 -dev <device> 里面的 device可以是 niodev, hybdev 或 mxdev
3) 终止守护指令: mpjdaemon.bat -halt
对于 native
1) 编译 JNI wrapper library（具体编译方法请参见MPJ Express的相关帮助文档）
2) 执行指令示例: mpjrun.bat -np 4 -dev native HelloWorld
Win7下搭建JAVA并行开发环境MPJ Express（PART3）
标签：大数据 mpj express 并行计算 mpi
原文地址：http://blog.csdn.net/baimafujinji/article/details/45195481
