openfiler+vmware+oracle 11g rac 搭建

一、環境規劃

1、IP地址規劃

#Public ip

192.168.12.54  oracle-rac01-db01

192.168.12.57  oracle-rac02-db02

#vip

192.168.12.70  rac01-db01-vip            

192.168.12.71  rac02-db02-vip

#private-vip

172.168.12.54    rac01-db01-priv

172.168.12.57    rac02-db02-priv

#Scan ip

192.168.12.72   SCANIP  

2、操作系統版本

CentOS release 6.7

二、操作系統搭建

1、本地yum服務器搭建

   a、安裝createrepo包

   b、修改配置文件（將文件上傳服務器后修改權限）

2、配置時間同步（無需配置）

3、rpm檢查

a、檢查

rpm -q cloog-ppl compat-libcap1compat-libstdc++-33 cpp gcc gcc-c++ glibc-devel glibc-headers kernel-headersksh libXmu libXt libXv libXxf86dga libXxf86misc libXxf86vm libaio-devel libdmxlibstdc++-devel mpfr make ppl xorg-x11-utils xorg-x11-xauth

b、安裝

yum install cloog-ppl compat-libcap1compat-libstdc++-33 cpp gcc gcc-c++ glibc-devel glibc-headers kernel-headersksh libXmu libXt libXv libXxf86dga libXxf86misc libXxf86vm libaio-devel libdmxlibstdc++-devel mpfr make ppl xorg-x11-utils xorg-x11-xauth

4、防火墻和selinux關閉

a、selinux關閉

root@ora ~]# vi /etc/sysconfig/selinux

SELINUX=disabled

[root@ora ~]# /usr/sbin/getenforce

 Disabled

b、防火墻關閉

[root@rac1 ~]# service  iptables stop

[root@rac1 ~]# chkconfig  --level 123456   iptables  off

5、linux連接vnc設置

一、服務器端設置

a、確定Linux已經安裝了vnc-server

b、服務器需要開啟vnc用戶（注意每個用戶都要運行vncpasswd)

[root@bogon ~]#vncpasswd

[root@bogon ~]# vi /etc/sysconfig/vncservers----（提前設置密碼，否則報錯）

VNCSERVERS="1:root 2:test"

VNCSERVERARGS[3]="-geometry 800x600-nolisten tcp -localhost"

如果啟用更多用戶，則可以直接空格再繼續同格式添加用戶，

例，VNCSERVERS="1:root 2:test 3:user"  

c、修改用戶文件~/.vnc/xstartup注釋掉最后一行：

    #twm& 改為gnome-session &

d.重啟vnc服務

   servicevncserver restart

e.設置VNCServer自動啟動

  1).編輯/etc/sysconfig/vncservers配置文件：

  取消VNCSERVERS所在行的注釋，例如：VNCSERVERS="1:root"

   其中，1表示桌面號，root表示啟動用戶，

   如果要啟動多個VNCServer，之間用空格隔開，例如：

   VNCSERVERS="1:root2:oracle 3:grid"

f .自動啟動vncserver服務

  a).執行以下命令查看vncserver服務狀態：

     chkconfig--list vncserver

     b).修改vncserver服務自動啟動：

     chkconfig--level 345 vncserver on

二、客戶端連接

  ip:端口號（5900+桌面號，密碼為vncpasswd設置密碼）

 vncserver -kill :2

三、數據庫集群安裝與配置

1、新建操作系統相關用戶

新建組

/usr/sbin/groupadd -g 501 oinstall 

/usr/sbin/groupadd -g 502 dba 

/usr/sbin/groupadd-g 503 oper 

/usr/sbin/groupadd -g 504 asmadmin 

/usr/sbin/groupadd -g 505 asmoper 

/usr/sbin/groupadd -g 506 asmdba

新建用戶

/usr/sbin/useradd -g oinstall -G dba,asmdba,operoracle 

/usr/sbin/useradd -g oinstall-G asmadmin,asmdba,asmoper,oper,dba grid

創建目錄

mkdir -p /u01/app/grid

mkdir -p /u01/11.2.0/grid

mkdir -p /u01/app/oracle

mkdir -p /u01/app/oracle/product/11.2.0/db_1

chown  grid:oinstall /u01  -R

chown -R oracle:oinstall /u01/app/oracle

chmod  775 /u01/ -R

1、使用udev綁定方式，配置文件見文檔

  文件路徑/etc/udev/rule.d/99-oracle-asmdevices.rules

/sbin/scsi_id --whitelisted--replace-whitespace --device=/dev/sdb-----盤符名稱獲取uuid

[root@rac01 rules.d]# /sbin/scsi_id--whitelisted --replace-whitespace --device=/dev/sdb

14f504e46494c450031556d7232542d4b416e362d4e624553

綁定格式

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted--replace-whitespace --device=/dev/$name",RESULT=="14f504e46494c45004272785573692d476441622d66676939",NAME="asm-diskdata1", OWNER="grid",GROUP="asmadmin", MODE="0660"

[root@rac01 rules.d]# ll   /dev/sd*--------查看設備

[root@rac01 ~]# ll  /dev/sd*

brw-rw----. 1 root disk 8, 0 May 30 08:13/dev/sda

brw-rw----. 1 root disk 8, 1 May 30 08:13/dev/sda1

brw-rw----. 1 root disk 8, 2 May 30 08:13/dev/sda2

brw-rw----. 1 root disk 8, 3 May 30 08:13/dev/sda3

[root@rac01 rules.d]# ll /dev/asm*-------查看綁定

brw-rw----. 1 grid asmadmin 8, 48 May 3008:13 /dev/asm-diskdata1

brw-rw----. 1 grid asmadmin 8, 80 May 30 08:13/dev/asm-diskdata3

brw-rw----. 1 grid asmadmin 8, 96 May 3008:13 /dev/asm-diskdata4

brw-rw----. 1 grid asmadmin 8, 64 May 3008:13 /dev/asm-diskdatar2

brw-rw----. 1 grid asmadmin 8, 32 May 3008:13 /dev/asm-fl

brw-rw----. 1 grid asmadmin 8, 16 May 3008:13 /dev/asm-ocr

scp  root@192.168.12.54：/etc/udev/rule.d/99-oracle-asmdevices.rules

/etc/udev/rule.d/99-oracle-asmdevices.rules

修改環境變量

root

vi /etc/profile

#ORACLE SETTING

if [ $USER = "oracle" ] || [$USER = "grid" ]; then

if [ $SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi

[root@rac02~]# source  /etc/profile

2、配置用戶環境變量

修改grid用戶登錄腳本

vi .bash_profile

#ORACLE_HOSTNAME=gzdb01;

#export ORACLE_HOSTNAME

ORACLE_BASE=/u01/app/grid;

export ORACLE_BASE

ORACLE_HOME=/u01/11.2.0/grid;

export ORACLE_HOME

ORACLE_SID=+ASM1;  #<node2 為+ASM2>

export ORACLE_SID

PATH=$ORACLE_HOME/bin:$PATH;

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;

export CLASSPATH

修改oracle用戶登錄腳本

#ORACLE_HOSTNAME=gzdb01;

#export ORACLE_HOSTNAME

ORACLE_UNQNAME=racdb;

export ORACLE_UNQNAME

ORACLE_BASE=/u01/app/oracle;

export ORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;

export ORACLE_HOME

ORACLE_SID=racdb2;   #<node2 為gzdb2>

export ORACLE_SID

PATH=$ORACLE_HOME/bin:$PATH;

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;

export CLASSPATH

3、修改操作系統參

修改內核參數

vi /etc/sysctl.conf 

#ORACLE SETTING 

fs.aio-max-nr = 1048576 

fs.file-max = 6815744 

kernel.shmall = 8388608 

kernel.shmmax = 536870912 

kernel.shmmax = 1073741824 

kernel.shmmni = 4096 

kernel.sem = 250 32000 100 128 

net.ipv4.ip_local_port_range = 900065500 

net.core.rmem_default = 262144 

net.core.rmem_max = 4194304 

net.core.wmem_default = 262144 

net.core.wmem_max = 1048586 

在修改完內核參數后，確保運行以下命令，以使修改立即生效，否則可能在檢查CRS可用性時，會檢查失敗。

#/sbin/sysctl -p

配置shell limit

vi /etc/security/limits.conf 

添加以下內容

#ORACLE SETTING 

grid soft nproc 2047 

grid hard nproc 16384 

grid soft nofile 1024 

grid hard nofile 65536 

oracle soft nproc 2047 

oracle hard nproc 16384 

oracle soft nofile 1024 

oracle hard nofile 65536 

vi /etc/pam.d/login

添加以下內容

#ORACLE SETTING 

session required pam_limits.so

4、配置ssh五密碼登陸

兩臺機器上分別要以oracle和grid用戶執行

[oracle@node1 ~]$ mkdir ~/.ssh

[oracle@node1 ~]$ chmod 700 ~/.ssh

[oracle@node1 ~]$ssh-keygen -t rsa

[oracle@node1 ~]$ssh-keygen -t dsa

節點一上以oracle執行

[oracle@node1~]$cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

[oracle@node1~]$cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys

[oracle@node1~]$ssh  oracle-rac02-db02  cat  ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

[oracle@node1~]$ssh  oracle-rac02-db02  cat  ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys

[oracle@node1 ~]$ scp  ~/.ssh/authorized_keys  IAP-GZ-RACDB06:~/.ssh/authorized_keys

檢查是否需要密碼登陸（分別以oracle執行）

[oracle@node1~]$ssh  IAP-GZ-RACDB05 date

[oracle@node1~]$ssh IAP-GZ-RACDB06 date

[oracle@node1~]$ssh  RAC05-priv  date

[oracle@node1~]$ssh  RAC06-priv  date

切換至node2執行（分別以oracle執行）

[oracle@node2~]$ssh node1 date

[oracle@node2~]$ssh node2 date

[oracle@node2~]$ssh node1-priv date

5、使用udev綁定方式配置存儲并分區(可以綁定后分區）

6、環境驗證

 1、IP配置（注意機器名不要大寫）

 [root@iap-gz-rac05~]# cat  /etc/hosts

 2、內存空間大小

 [root@iap-gz-rac05~]# free  -m

3、操作系統用戶、oracle和grid環境變量

 4、免密碼登錄驗證(oracle和grid用戶）

  ssh  iap-gz-rac05  date

  ssh  iap-gz-rac06  date

  ssh  rac05-priv   date

  ssh  rac06-priv   date

 5、其他（grid用戶）

 ./runcluvfy.shstage -pre crsinst -n  IAP-GZ-RACDB05, IAP-GZ-RACDB06  -verbose

四、安裝

1、gird軟件安裝（總共20步）

注意scan-name要和/etc/hosts一致，在 /etc/hosts 加入rac-cluter-scan  不是本機IP是一個虛擬IP

添加另外一個節點，注意編輯vip

[root@rac02 u01]# ls  -ltr

drwxr-xr-x. 3 rootoinstall 4096 May 30 07:59 11.2.0

drwxrwxr-x. 5 grid oinstall 4096 May 3009:41 app

2、安裝后asm磁盤創建

3 、數據庫軟件安裝（總共10步驟）

五、日常管理維護操作

查看集群服務

[grid@iap-gz-rac05~]$  crsctl check cluster

[grid@ iap-gz-rac05 ]$ crsctl stat resource -t

啟停止服務

(1)、在本地服務器上停止OracleClusterware 系統：

[root@rac01 ~]# /u01/app/11.2.0/grid/bin/crsctl stop cluster

(1)、在本地服務器上停止OracleClusterware 系統：

[root@rac01~]# /u01/app/11.2.0/grid/bin/crsctl start  cluster

注：在運行“crsctl stop cluster”命令之后，如果 Oracle Clusterware 管理的資源中有任何一個還在運行，則整個命令失敗。使用 -f 選項無條件地停止所有資源并停止 Oracle Clusterware 系統。

另請注意，可通過指定 -all 選項在集群中所有服務器上停止 Oracle Clusterware 系統。如下所示，在rac01和rac02上停止oracle clusterware系統：

[root@rac02 ~]#/u01/app/11.2.0/grid/bin/crsctl stop cluster –all

在本地服務器上啟動oralce clusterware系統：

[root@rac01 ~]#/u01/app/11.2.0/grid/bin/crsctl start cluster

注：可通過指定 -all 選項在集群中所有服務器上啟動 Oracle Clusterware 系統。

[root@rac02 ~]#/u01/app/11.2.0/grid/bin/crsctl start cluster –all