如何架设基于 LINUX 的服务器集群
如何架设基于 LINUX 的服务器集群
1.什么是服务器集群
随着 Internet 的爆炸性增长，Internet 与人的生活越来越息息相关，通过 Internet
上进行交易也就越来越受关注。近几年，电子商务的年增长均超过 100%。服务器
的工作量也迅速增长，所以服务器(特别是一个受人欢迎的 WEB 服务器)很容易在访
问高峰时期过载。
而另一方面，计算机从 1946 年单纯的科学计算任务到现在大量纷繁复杂的信
息处理，工作量越来越大，需要越来越快的处理能力。所以计算机界就不得不不断
研究更快的处理器，存储器，以适应这一需求。
然而，科学家们意识到，单块处理器的速度发展空间是有限的，为什么不能让
计算机象人一样协同工作，“群策群力”地将工作完成好呢!这时，就掀起了“并行计算”
的研究。
举个例子来说，我们架设了一台 WWW 服务器，上面构建了一个电子商务网站，
然而随着时间的推移，名声越来越大，这时点击率也就越来越高，WWW 服务器的
负载也就越来越高。这种情况下，我们就必须提升 WWW 服务器的能力，以满足以
益增长的服务请求。这时，我们就面临两种选择：
1)升级 WWW 服务器，采用更快的 CPU，增加更多的内存，使其更具有 POWER
但日益增长的服务请求又会使服务器再次过载，需要再次升级，这样就陷入了升级
的怪圈。还有，升级时还得考虑到服务如何接续，能否中止!
2)增加 WWW 服务器，让多台服务器来完成相同的服务。
这种方法就是服务器集群，通过并行技术来大大提升系统性能。也就是这一章
的主要内容，这种方法具有很好的扩展性，而且可以最大限度地利用已有投资。 1.1.集群的概念
集群，是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通
过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分
布式计算机。
近几年来，微处理器、内存、总线技术、网络技术有了非常大的进步，软件的
并行技术也有了非常大的进步，这使得让一组廉价的个人电脑与工作站协同工作成
为可能，甚至可以与拥有强大的芯片处理能力的超级计算机竞争。
比如，16 个普通微处理器组成的集群系统可以达到亿次级浮点计算机能力，而
且总的成本小于 40 万元。
不幸的是，建造一个集群并不是一件简单的事件。集群的组成部分必须根据要
运行的主要应用进行调整，以使之运行在最佳状态。这此因素带来的结果就是，建
造集群系统不是只有一个标准的方案，在本章中，我们就会看到许多种建造方案。
集群技术是计算机系统结构的前沿领域，笔者也仅是略有了解，希望本文能起
到抛砖引玉之用。
1.2.并行技术
这是一个非常简单的建造四节点的小集群系统的例子，它是构建在 Linux 操作
系统上，通过 MPICH 软件包实现的，希望这个小例子能让大家对集群系统的构建
有一个最基本的了解。
2.使用 MPICH 构建一个四节点的集群系统
这是一个非常简单的建造四节点的小集群系统的例子，它是构建在 Linux 操作
系统上，通过 MPICH 软件包实现的，希望这个小例子能让大家对集群系统的构建
有一个最基本的了解。 2.1 所需设备
1).4 台采用 PentiumII 处理器的 PC 机，每台配置 64M 内存，2GB 以上的硬盘，
和 EIDE 接口的光盘驱动器。
2).5 块 100M 快速以太网卡，如 SMC 9332 EtherPower 10/100(其中四块卡用
于连接集群中的结点，另外一块用于将集群中的其中的一个节点与其它网络连接。)
3).5 根足够连接集群系统中每个节点的，使用 5 类非屏蔽双绞线制作的 RJ45
缆线
4).1 个快速以太网(100BASE-Tx)的集线器或交换机
5).1 张 Linux 安装
对计算机硬件不熟的人，实施以下这些构建步骤会感到吃力。如果是这样，请
找一些有经验的专业人士寻求帮助。
1. 准备好要使用的采用 Pentium II 处理器的 PC 机。确信所有的 PC 机都还没
有接上电源，打开 PC 机的机箱，在准备与网络上的其它设备连接的 PC 机上安装
上两块快速以太网卡，在其它的 PC 机上安装上一块快速以太网卡。当然别忘了要
加上附加的内存。确定完成后盖上机箱，接上电源。
2. 使用 4 根 RJ45 线缆将四台 PC 机连到快速以太网的集线器或交换机上。使
用剩下的 1 根 RJ45 线将额外的以太网卡(用于与其它网络相连的那块，这样机构就
可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网)，然后
打开电源。
3. 使用 LINUX 安装盘在每一台 PC 机上安装。请确信在 LINUX 系统中安装了
C 编译器和 C 的 LIB 库。当你配置 TCP/IP 时，建议你为四台 PC 分别指定为
192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台 PC 为你的服务器节点(拥有两块网卡的那台)。在这个服务器节点上的那块与机构局域网相连的网卡，
你应该为其指定一个与机构局域网吻合的 IP 地址。
4.当所有 PC 都装好 Linux 系统后，编辑每台机器的/etc/hosts 文件，让其包含
以下几行：
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
编辑每台机器的/etc/hosts.equiv 文件，使其包含以下几行：
node1
node2
node3
node4
以下的这些配置是为了让其能使用 MPICH’s p4 策略去执行分布式的并行处理
应用。
1. 在服务器节点，建一个/mirror 目录，并将其配置成为 NFS 服务器，并在
/etc/exports 文件中增加一行：
/mirror node1(rw) node2(rw) node3(rw) node4(rw) 2. 在其他节点上，也建一个/mirror 目录，关在/etc/fstab 文件中增加一行：
server:/mirror /mirror nfs rw,bg,soft 0 0
3. /mirror 这个目录从服务器上输出，装载在各个客户端，以便在各个节点间进
行软件任务的分发。
4. 在服务器节点上，安装 MPICH。MPICH 的文档可在
http://www.mcs.anl.gov/mpi/mpich/docs.html 获得。
5.任何一个集群用户(你必须在每一个节点新建一个相同的用户)，必须在/mirror
目录下建一个属于它的子目录，如/mirror/username，用来存放 MPI 程序和共享数
据文件。这种情况，用户仅仅需要在服务器节点上编译 MPI 程序，然后将编译后的
程序拷贝到在/mirror 目录下属于它的的子目录中，然后从他在/mirror 目录下属于它
的的子目录下使用 p4 MPI 策略运行 MPI 程序。
1.如果你有 gunzip，就 d 下载 mpich.tar.gz，要不然就下载 mpich.tar.Z。你可
以到
http://www.mcs.anl.gov/mpi/mpich/downloa 下载，也可以使用匿名 FTP 到
ftp.mcs.anl.gov 的 pub/mpi 目录拿。(如果你觉得这个东西太大，你可以到
pub/mpi/mpisplit 中取分隔成块的几个小包，然后用 cat 命令将它们合并)
2.解压：gunzip ;c mpich.tar.gz
tar xovf-(或 zcat mpich.tar.Z tar xovf-)
3.进入 mpich 目录
4.执行：./configure 为 MPICH 选择一套适合你的实际软硬件环境的参数组，如
果你对这些默认选择的参数不满意，可以自己进行配置(具体参见 MPICH 的配置文
档)。最好选择一个指定的目录来安装和配置 MPICH，例如：
./configure -prefix=/usr/local/mpich-1.2.0 5.执行：make >&make.log 这会花一段较长的时间，不同的硬件环境花的时间
也就不同，可能从 10 分钟到 1 个小时，甚至更多。
6.(可选)在工作站网络，或是一台单独的工作站，编辑
mpich/util/machines/machines.xxx(xxx 是 MPICH 对你机器体系结构取的名称，你
能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群
中，这一步不需要。
7.(可选)编译、运行一个简单的测试程序：
cd examples/basic
make cpi
ln ;s ../../bin/mpirun mpirun
./mpirun ;np 4 cpi
此时，你就在你的系统上运行了一个 MPI 程序。
8.(可选)构建 MPICH 其余的环境，为 ch_p4 策略使用安全的服务会使得任何启
动速度加快，你可以执行以下命令构建：
make serv_p4
(serv_p4 是一个较新的 P4 安全服务的版本，它包含在 MPICH 1.2.0 版中)，
nupshot 程序是 upshot 程序的一个更快版本，但他需要 tk 3.6 版的源代码。如果你
有这个包，你就用以下命令可以构建它：
make nupshot
9.(可选)如果你想将 MPICH 安装到一个公用的地方让其它人使用它，你可以执
行： make install 或 bin/mpiinstall
你可以使用-prefix 选项指定 MPICH 安装目录。安装后将生成 include、lib、bin、
sbin、www 和 man 目录以及一个小小的示例目录，
(可选)到此你可以通告所有的用户如何编译、执行一个 MPI 程序。
2.4 费用统计
这个小的集群方案总的费用大致如下：
设备费用：
4 台 Pentium II CPU /64MB 内存, 2GB 的硬盘带 EIDE CD-ROM 的机器：
24000 元
5 块快速以太网卡： 800 元
1 个快速以太网的集线机：2000 元
5 根双绞线：50 元
软件费用：
LINUX 安装光盘：50 元
MPICH：0 元
合计：26900 元。 这样一个集群系统可以用于一些大量的科学计算，信息处理，而且其性价比实
在是太好了，仅需不到三万元。