OEL7.2下Oracle11.2.0.4RAC部署

OEL7.2下Oracle11.2.0.4RAC部署

一、 安裝步驟簡述

u OEL7.2操作系統安裝

u RAC 安裝環境配置

u ORACLE CRS安裝

u ORACLE DB軟件安裝

u ORACLE實例安裝

u 環境檢查

二、 OEL7.2操作系統安裝

1 插入OEL7.2操作系統安裝光盤或加載ISO文件

2 引導安裝光盤，回車后開始安裝

3 選擇操作系統語言--continue    

4 時區選擇亞洲—上海--DONE    

5 語言支持選擇—english 和 簡體中文    

6 安全策略--off    

7 Software selection—server with gui    

8 選擇安裝磁盤    

9 網絡與主機名配置    
   
   
   
   

10 開始安裝    

11 完成操作系統安裝后登錄    

三、 RAC安裝環境配置

1 添加用戶、組及配置權限

groupadd oinstall    
groupadd dba    
groupadd oper    
groupadd asmadmin    
groupadd asmdba    
groupadd asmoper    
useradd -g oinstall -G dba,asmdba,asmadmin,asmoper grid    
useradd -g oinstall -G dba,oper,asmdba oracle

usermod -g oinstall -G dba,oper,asmdba oracle    
passwd grid

Passwd oracle

Id oracle    
id grid    
mkdir -p /u01/app/11.2.0/grid

mkdir -p /u01/app/grid    
chown -R grid:oinstall /u01/

mkdir -p /u01/app/oracle    
chown -R oracle:oinstall /u01/app/oracle

chmod -R 775 /u01/

2 修改操作系統環境變量:

oracle用戶

vi .bash_profile

export ORACLE_BASE=/u01/app/oracle

export ORACLE_CRS_HOME=/u01/app/grid

export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1

export ORACLE_SID=orcl1

export ORACLE_TERM=xterm

export PATH=/usr/sbin:$PATH

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"

export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

grid用戶

export ORACLE_SID=+ASM1

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/11.2.0/grid

export LD_LIBRARY_PATH=$ORACLE_HOME/lib

export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"

export PATH=$ORACLE_HOME/bin:$PATH

3 復制安裝文件至服務器

Mkdir /mnt/cdrom

Mount –o username=administrator,password=123 //1.1.1.1/iso /mnt/cdrom

復制文件至服務器/u01目錄下進行解壓

4 安裝cvuqdisk

[root@his1 rpm]# rpm -ivh cvuqdisk-1.0.9-1.rpm

Preparing... ################################# [100%]

Using default group oinstall to install package

Updating / installing...

1:cvuqdisk-1.0.9-1 ################################# [100%]

5 安裝軟件包查詢

rpm -q --qf '%{NAME}-%{VERSION}-%{RELEASE}(%{ARCH})\n' binutils \

elfutils-libelf \

elfutils-libelf-devel \

gcc \

gcc-c++ \

glibc \

glibc-common \

glibc-devel \

glibc-headers \

ksh \

libaio \

libaio-devel \

libgcc \

libstdc++ \

libstdc++-devel \

make \

sysstat \

unixODBC \

unixODBC-devel

6 安裝缺失安裝包    
rpm -ivh elfutils-libelf-devel-0.163-3.el7.x86_64.rpm

rpm -ivh libaio-devel-0.3.109-13.el7.x86_64.rpm

rpm -ivh unixODBC-2.3.1-11.el7.x86_64.rpm

rpm -ivh unixODBC-devel-2.3.1-11.el7.x86_64.rpm

rpm -ivh ksh-20120801-22.el7_1.2.x86_64.rpm

7 防火墻配置：

關閉firewall：    
systemctl stop firewalld.service #停止firewall    
systemctl disable firewalld.service #禁止firewall開機啟動    
firewall-cmd --state #查看默認防火墻狀態（關閉后顯示notrunning，開啟后顯示running）

8 Selinux配置

修改/etc/sysconfig/selinux確保SELINUX=disabled，然后執行setenforce 0或者reboot服務器以生效最小配置，

將SElinux設置為PERMISSIVE模式：

setenforce 0

getenforce

9 Hosts文件配置

172.16.0.107 rac1

172.16.0.108 rac2

1.1.1.1 rac1-priv

1.1.1.2 rac2-priv

172.16.0.109 rac1-vip

172.16.0.110 rac2-vip

172.16.0.111 rac-scan

10 修改/etc/sysctl.conf文件

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2097152 

kernel.shmmax = 4294967295

kernel.shmmni = 4096 

kernel.sem = 250 32000 100 128 

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144 

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576 
For 64-bit systems with 64GB of RAM:    
  kernel.shmmax=34359738368    
  kernel.shmmni=4096    
  kernel.shmall=16777216    
  vm.nr_hugepages=16384

sysctl –p

11 修改removeIPC參數

為了避免linux7.2的新特性，在一個user完全退出OS后會remove掉所有的IPC對象，需要修改如下參數

1).設置/etc/systemd/logind.conf中(OEL默認值)

RemoveIPC=no

2).重啟服務器或者重啟systemd-logind

systemctl daemon-reload 

systemctl restart systemd-logind

12 配置文件系統描述符 /etc/security/limits.conf

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

grid soft stack 10240

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

oracle soft stack 10240

13 配置/etc/profile,添加

if [ $USER = "oracle" ] || [ $USER = "grid" ];then

if [ $SHELL = "/bin/ksh" ];then

ulimit -p 16384

ulimit -n 65536

else

ulimit -u 16384 -n 65536

fi

umask 022

fi    
export PATH=$PATH:/u01/app/11.2.0/grid/bin

14 Vmware workstation添加虛擬磁盤

OCR 1G DATA 20G    
先添加HIS1節點的磁盤，再至HIS2添加已經存在的磁盤，預先分配好磁盤空間

15 選擇磁盤通道:

Ocr選擇1:0通道，data選擇1:1通道

16 修改HIS1與HIS2的vmx文件，增加以下內容：    
disk.locking="FALSE"

disk.EnableUUID="TRUE"

diskLib.dataCacheMaxSize="0"

diskLib.dataCacheMaxReadAheadSize="0"

diskLib.dataCacheMinReadAheadSize="0"

diskLib.dataCachePageSize="4096"

diskLib.maxUnsyncedWrites="0"

scsi1:0.sharedBus="VIRTUAL"

scsi1:0.virtualDev="lsilogic"

scsi1:0.deviceType="disk"

scsi1:1.sharedBus="VIRTUAL"

scsi1:1.virtualDev="lsilogic"

scsi1:1.deviceType="disk"

scsi1:2.sharedBus="VIRTUAL"

scsi1:2.virtualDev="lsilogic"

scsi1:2.deviceType="disk"

17 對新添加磁盤進行初始化

HIS1初始化后重啟HIS2節點即可，不需要再對HIS2上磁盤進行初始化。

進行初始化操作：

18 磁盤配置

測試環境清理之前數據

dd if=/dev/zero of=/dev/sdb1

dd if=/dev/zero of=/dev/sdc1

dd if=/dev/zero of=/dev/sdd1

a. 獲取需要綁定為asm磁盤的uuid,檢查兩臺服務器上id是否一致

多路徑下獲取磁盤id

/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/emcpowerb

/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/emcpowerc

/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/emcpowerd

b. 綁寫udev.rules文件

vi /etc/udev/rules.d/99-oracle-asmdevices.rules  
常規磁盤配置：

KERNEL=="sd?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045002988e0598f38600b", SYMLINK+="asm/asm-ocr", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="sd?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e04500d187e059be4b8d61", SYMLINK+="asm/asm-data", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="sd?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045008387e059821bbb14", SYMLINK+="asm/asm-fra", OWNER="grid", GROUP="asmadmin", MODE="0660"

EMC多路徑磁盤配置：

KERNEL=="emcpower?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045002988e0598f38600b", SYMLINK+="asm-ocr", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="emcpower?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e04500d187e059be4b8d61", SYMLINK+="asm-fra", OWNER="grid", GROUP="asmadmin", MODE="0660"

KERNEL=="emcpower?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045008387e059821bbb14", SYMLINK+="asm-data", OWNER="grid", GROUP="asmadmin", MODE="0660"

c. 查看綁定是否成功

udevadm test /sys/block/emcpowerb

udevadm info --query=all --path=/sys/block/emcpowerb

udevadm info --query=all --name=asm-ocr    
udevadm test /sys/block/emcpowerc

udevadm info --query=all --path=/sys/block/emcpowerc

udevadm info --query=all --name=asm-fra

udevadm test /sys/block/emcpowerd

udevadm info --query=all --path=/sys/block/emcpowerd

udevadm info --query=all --name=asm-data

d. 重啟udev服務

udevadm control --reload-rules

e. 檢查設備綁定情況

ll /dev/asm*

f. 修改asm磁盤權限

chown -h grid:asmadmin /dev/asm/*

四、 安裝Oracle CRS

1 使用grid用戶執行安裝包

./runInstaller

2 跳過軟件更新

3 安裝和配置群集grid

4 語言選擇

5 群集節點及ssh配置—選擇setup

6 完成安裝

7 執行相關腳本

配置ohas服務：

在執行root.sh腳本之前，添加ohas服務：

a) cd /etc/systemd/system/

touch ohas.service

b) 編輯文件ohas.service 加入以下文本

[Unit]

Description=Oracle High Availability Services

After=syslog.target

[Service]

ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple

Restart=always

[Install]

WantedBy=multi-user.target

c) 運行以下命令(as root):

systemctl daemon-reload

systemctl enable ohas.service

systemctl start ohas.service

d) 運行root.sh

在執行下root.sh腳本后，出現以下提示信息時請啟動ohas服務：

：

Installing Trace File Analyzer

OLR initialization - successful

啟動ohas服務：

查詢安裝程序是否已建立/etc/init.d/init.ohasd文件，如果已建立，則運行ohas服務：

systemctl start ohas.service

節點2執行root.sh

當顯示：Adding Clusterware entries to inittab

啟動ohas服務：

查詢安裝程序是否已建立/etc/init.d/init.ohasd文件，如果已建立，則運行ohas服務：

systemctl start ohas.service

8 完成后檢查服務狀態

五、 安裝數據庫軟件

1 創建相關asm磁盤組

2 Oracle用戶運行.runInstall    

3 選擇只安裝數據庫軟件

4 選擇在兩個服務器上安裝實例

5 配置oracle用戶等效性

6 選擇安裝語言

7 安裝企業版

8 忽略部分檢查錯誤

9 安裝過程中報錯

To fix this error edit $ORACLE_HOME/sysman/lib/ins_emagent.mk, search for the line

$(MK_EMAGENT_NMECTL)

and replace the line with

$(MK_EMAGENT_NMECTL) -lnnz11

then click “Retry” button

六、 創建數據庫實例

1 Oracle用戶執行dbca，創建數據庫實例

2 輸入創建實例名

3 配置Em

4 配置用戶密碼

5 選擇oms及數據文件存放磁盤組

6 配置歸檔及閃回區

7 內存配置

8 報錯，提未/dev/shm空間太小

在his與his2上執行      
sudo mount -o size=3168M -o remount /dev/shm

9 并發數配置

10 配置字符集

11 開始安裝數據庫

12 完成數據庫安裝

七、 安裝環境檢查

1 檢查集群服務啟動情況

2 檢查監聽狀態

3 使用不同的ip連接數據庫，驗證登錄是否正常，安裝結束。