---
title: "VCS集群环境配置实例(Oracle)"
author: "huangxiaobing"
date: "2009-12-14T19:21:43Z"
tags: []
categories: ["数据库"]
slug: "vcs-oracle"
draft: false
lastmod: "2009-12-14T19:21:43Z"
id: 548380
url: "https://4ujava.iteye.com/blog/548380"
---

VCS集群环境配置实例（入门篇）

1、系统配置目标  
2、基本的硬件环境  
3、硬件连接及配置要求  
4、安装操作系统及补丁的安装过程  
5、开始安装Raid Manager 6.22.1  
6、开始安装vxvm 3.5  
7、安装oracle数据库  
8、安装VCS软件  
9、安装Veritas Cluster Oracle agent  
10、修改相关的配置文件  
11、附录

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
1、系统配置目标  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
两个系统跑一个服务（分oracle），能够自动切换或者手动

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
2、硬件环境和软件介质  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
硬件：  
Ultra 10主机两台，配置相同，其每台的详细配置如下：  
1、CPU(US-IIi 333MHz)，内存（512MB），本地硬盘20GB 各1块，  
2、双通道差分卡各1块；非集成网卡各2块  
3、网线，光纤线，电源线若干  
A1000磁盘阵列（内置若干硬盘）1个  
软件准备：  
Solaris 8 for SPARC(4 disks)（安装介质）  
8\_Recommended.zip(patch)（sunsolve.sun.com上下载）  
Veritas Cluster Server 3.5安装介质  
Veritas Volume Manager 3.5安装介质  
Oracle 8.1.7.0.0安装光盘2张  
SUN Raid Manager 6.22.1

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
3、硬件连接及配置要求  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
连接A1000、Ultra 10主机的基本电源线、鼠标、键盘等基本外设  
网线的链接要求：两台主机的心跳线直接用交叉线直连；服务网卡用cross-over网线连接到switch  
从A1000上的两个SCSI接口分别连接到2个主机的差分SCSI卡上  
修改1#机的差分卡的scsi id。  
其方法是：  
开1#机进入OBP，按键盘的(stop+a)或者用串口线连上的(ctrl + pause)  
OK show-devs  
找到差分卡所对于的物理路径以备后用  
OK nvedit输入如下内容  
probe-all  
cd [/pci@1f,0/pci@1/scsi@3,1]()  
6 " scsi-initiator-id" integer-property  
device-end  
cd [/pci@1f,0/pci@1/scsi@3]()  
6 " scsi-initiator-id" integer-property  
device-end  
install-console  
banner  
输入结束后按ctrl+c  
OK nvstore  
ok setenv use-nvramrc? True  
ok setenv auto-boot? True  
ok reset-all

重启之后再次进入OK状态下进行验证  
OK select [/pci@1f,0/pci@1/scsi@3,1]()  
OK .property  
OK show-children

OK reset -all

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
4、操作系统的配置过程  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
安装步骤：  
1、分别安装系统，基本配置如下：  
1#机  
语言：English  
主机名 ha1  
网络设备：hme0  
IP地址 192.168.0.41  
子网掩码255.255.255.0  
安装模式：Entire Distribution plus OEM 64-support

2#机  
语言：English  
主机名 ha2  
网络设备：hme0  
IP地址 192.168.0.42  
子网掩码255.255.255.0  
安装模式：Entire Distribution plus OEM 64-support

在两个系统同时进行如下操作：  
\# cd /etc/;touch hostname.hme1 hostname.hme2  
\# cd /tmp  
\# unzip 8\_recommended.zip  
\# cd /8\_Recommended  
\# ./install\_cluster  
\# reboot  
注：每个系统盘上都留出一个小的slice(c0t0d0s7)来做rootdg

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
6、开始安装Raid Manager  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
进入介质所在的目录，安装如下软件包  
\# pkgadd -d . SUNWosafw SUNWosamn SUNWosanv SUNWosar SUNWoasu  
修改/etc/profile文件修改路径  
PATH=$PATH:/usr/lib/osa/bin  
保存退出，重登陆  
运行rm6图形窗口,建mirror的卷1个  
在两台机器分别运行认盘操作：  
\# drvconfig -c disk && disks && devlinks  
\# format进行确认

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
7、开始安装vxvm 3.5  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
在1#机上作。  
首先创建rootdg  
\# vxlicense –c  
\# vxconfigd –m disable  
\# vxdctl init  
\# vxdctl init rootdg  
\# vxdg init rootdg  
\# vxdctl add disk c0t0d0s7 type=simple  
\# vxdisk –f init c0t0d0s7 type=simple  
\# vxdg adddisk c0t0d0s7  
\# vxdctl enable  
\# rm /etc/vx/reconfig.d/state.d/install-db  
然后创建数据卷  
\# vxdiskadd c1t0d0 c2t0d0  
安装提示创建一个oradg，然后把两个A1000互为镜像  
\# vxassist -g oradg make oravol 100g layout=mirror,log  
\# newfs /dev/vx/dsk/oradg/oravol

调整块设备的major、minor点。在两边分别作对比  
\# ls -lL /dev/vx/dsk/oradg/oravol  
如果有差异请用haremajor调整，（调整之后要求两边的显示完全一样，如果不作nfs用，那么应该是无所谓的）  
\# haremajor -vx 250 6000  
参考文件: /etc/name\_to\_major，

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
8、开始安装oracle  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
在1#机上创建oracle用户和用户组  
\# groupadd -g 100 dba  
把共享卷挂接到/oracle下面  
\# mount /dev/vx/dsk/oradg/oravol /oracle  
\# useradd -g dba -d /oracle/app -m -s /usr/bin/csh ora  
\# passwd ora  
与此同时把1#机中的/etc/group、/etc/passwd、/etc/shadow中新增的行目添加到2#机中（主要是与新增的用户组和用户有关）  
修改系统内核参数/etc/system，追加如下几行：  
set shmsys:shminfo\_shmmax=536870912  
set shmsys:shminfo\_shmmin=1  
set shmsys:shminfo\_shmmni=100  
set shmsys:shminfo\_shmseg=100  
set semsys:seminfo\_semmni=100  
set semsys:seminfo\_semmsl=100  
set semsys:seminfo\_semmns=200  
set semsys:seminfo\_semopm=100  
set semsys:seminfo\_semvmx=32767

修改用户变量文件/oracle/app/.cshrc，使其内容如下：  
setenv ORACLE\_BASE /oracle/app  
setenv ORACLE\_HOME /oracle/app/product/8.1.7  
setenv ORACLE\_TERM xsun5  
setenv LD\_LIBRARY\_PATH $ORACLE\_HOME/lib:/usr/openwin/lib:/usr/dt/lib  
setenv CLASSPATH .:/oracle/app/product/8.1.7/jdbc/lib/classes111.zip:/oracle/app/product/8.1.7/jdbc/lib/nls\_charset11.zip:/export/home/oracle/trade\_prog  
setenv PATH .:/export/home/oracle/trade\_prog:/bin:/usr/openwin/bin:/usr/bin:/usr/ucb:/usr/local/bin:/oracle/app/8.1.7/product/bin  
setenv NLS\_LANG AMERICAN\_AMERICA.ZHS16CGB231280  
setenv NLS\_LANG=SIMPLIFIED CHINESE\_CHINA.ZHS16GBK  
setenv ORACLE\_SID orcl  
setenv DISPLAY 192.168.0.190:0.0  
保存退出，以ora用户登陆系统开始安装  
插入安装光盘  
\# cd /cdrom/cdrom0;./runInstaller  
安装提示安装即可；注意建库一点要放在共享卷组上！  
安装结束后修改监听文件listener.ora、tnsname.ora  
\# cd /oracle/app/product/8.1.7/network/admin  
把这两个文件的ip改为服务ip：192.168.0.43（该IP作为服务IP）

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
9、开始安装vcs  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
在1#机上创建一个/.rhosts文件，其中包括ha2关键字  
在2#机上创建一个/.rhosts文件，其中包括ha1关键字  
修改/etc/inet/hosts文件，在1#、2#机上分别添加如下两行：  
192.168.0.42 ha2  
192.168.0.41 ha1  
装入vcs介质，开始激动人心的安装过程  
\# cd /cdrom/cdrom0/cluster\_server  
\# ./installvcs  
安装提示安装即可，不过有如下要求：  
vcs server name: newvcs  
systems: ha1 ha2  
心跳网卡: hme1 hme2  
不安装cluster\_manager、不安装Web Cluster Manager、不安装SNMP  
安装结束之后，确认系统正常：  
\# /opt/VRTSvcs/bin/lltstat -n  
\# /opt/VRTSvcs/bin/gabconfig -a  
\# hastatus -summary

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
10、安装Veritas Cluster Oracle agent  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
插入VERITAS SOLUTION cd6  
\# cd /cdrom/cdrom0/oracle\_agent  
\# pkgadd -d . VRTSvcsor  
该操作在两台机器上分别进行

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
11、配置双机相应的文件  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
为了节省时间，简化操作，下面我采用的是直接修改配置文件进行配置。  
在1#机进行如下操作  
\# hastop -all -force  
\# cd /etc/VRTSvcs/conf/config  
\# cp ../sample\_oracle/* .  
\# 修改main.cf文件为：  
include "types.cf"  
include "OracleTypes.cf"

cluster shared (  
UserNames = { adm = "rLlzxjF.KVQnI" }  
CounterInterval = 5  
)

system ha1 (  
)

system ha2 (  
)

group groupy (  
SystemList = { ha1 = 0, ha2 = 1 }  
AutoStartList = { ha1 }  
Administrators = { adm }  
)

DiskGroup groupydg (  
DiskGroup = sharedg  
)

IP nfssrvy (  
Device = hme0  
Address = "192.168.0.43"  
)

Mount export3 (  
MountPoint = "/oracle"  
BlockDevice = "/dev/vx/dsk/sharedg/oravol"  
FSType = ufs  
MountOpt = rw  
FsckOpt = "-y"  
)

NIC groupy\_hme0 (  
Device = hme0  
NetworkType = ether  
)

Oracle oragrp\_VRT (  
Sid = cnc1  
Owner = ora  
Home = "/oracle/app/product/8.1.7"  
Pfile = "/oracle/app/product/8.1.7/dbs/initcnc1.ora"  
User = "system"  
Pword = manager  
MonScript = "./bin/Oracle/SqlTest.pl"  
EnvFile = "/opt/VRTSvcs/bin/oracle/envfile"  
)

Sqlnet oragrp\_LISTENER (  
Owner = ora  
Home = "/oracle/app/product/8.1.7"  
TnsAdmin = "/oracle/app/product/8.1.7/network/admin"  
Listener = LISTENER  
MonScript = "./bin/Sqlnet/LsnrTest.pl"  
EnvFile = "/opt/VRTSvcs/bin/oracle/envfile"  
)

Volume groupydg\_vol3 (  
Volume = oravol  
DiskGroup = sharedg  
)

export3 requires groupydg\_vol3  
groupydg\_vol3 requires groupydg  
nfssrvy requires groupy\_hme0  
oragrp\_LISTENER requires nfssrvy  
oragrp\_LISTENER requires oragrp\_VRT  
oragrp\_VRT requires export3  
oragrp\_VRT requires groupydg\_vol3

\# hacf -verify /etc/VRTSvcs/conf/config/  
如果没有返回错误可以继续进行  
\# rlogin ha2  
\# cd /etc/VRTSvcs/conf/config/; rm * ; rcp ha1:/etc/VRTSvcs/conf/config/* . ;reboot  
退到ha1上面，也同时进行重启操作

重启结束后再次进入1#机  
\# haconf -makerw  
\# haconf -dump -makero  
\# hastatus -summary

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
12、附录  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\**  
参考文献为：  
&lt;Oracle 8.1.7 Install Guide&gt;  
&lt;Raid Manager install guide&gt;  
&lt;raid manager user guide&gt;  
&lt;Veritas volume manager install guide&gt;  
&lt;Veritas volume manager user guide&gt;  
&lt;Veritas Cluster server install guide&gt;  
&lt;Veritas Cluster server user guide&gt;  
&lt;Veritas bunlded agent reference guide&gt;

比较容易犯的错误  
1、scsi id没有修改  
如果不修改，那么其中一台机器重启，将会使阵列上的卷在另一台机器上的lun被reset，因为两块卡的scsi冲突。  
2、数据库的监听没有修改为浮动IP，导致监听启动不起来