【Oracle Database Applianceの検証】第4回-2「Oracle RAC構築-ソフトウェア編」

Oracle Database ApplianceでのOracle RAC構成手順

手順１：OAK Patch (End-User Bundle、Patch Bundle)のダウンロード(Oracle Supportから)

https://support.oracle.comサイトにサインインする。
(My Oracle Support契約アカウントが必要)
・12978712パッチ(End-User Bundle)をダウンロードする。(3.2 GB)
・13565278パッチ(Patch Bundle)をダウンロードする。(389.4 MB)

手順２：ネットワークの初期設定(End-User Bundle / Patch Bundleを取得するために必要)

rootユーザーで、/opt/oracle/oak/bin/oakcli configure firstnetコマンドを実行してネットワークの初期設定を行う。

手順3：OAK Patch (End-User Bundle：片方、Patch Bundle：両方)の展開 / 適用

/opt/oracle/oak/bin/oakcli unpack –package /root/p12978712_21020_Linux-x86-64.zip コマンドでEnd-User Bundleを展開する。
(192.168.0.1ノード１側)

/opt/oracle/oak/bin/oakcli –package /root/p13565278_21020_Linux-x86_64.zipコマンドでPatch Bundleを展開し、/opt/oracle/oak/bin/oakcli update –patch 2.1.0.2.0コマンドでPatch Bundleを適用する。
(192.168.0.1ノード１側と、192.168.0.2ノード2側)

手順4：ライセンスキーの登録

My Oracle Supportよりライセンスキーを取得
・“設定 > アセット” からOracle Database Applianceを選択
・Oracle Database Applianceから取得する必要はなし
次のコマンドは、ライセンスキーを登録している例
[root@oak1 ~]# /opt/oracle/oak/bin/oakcli apply core_cofigure_key /root/core_config_key.lic

INFO：Cluster will be rebooted after applying the core_config_key successfully

手順5：Oracle Appliance ManagerでOracle RACを構成 (Customタイプ)

Oracle Appliance Managerを起動するためには、X Windowシステム(X11)上で起動する必要がありますので、X Windows システム上でない場合は、コマンドプロンプトで ”startx” コマンドを実行してX Windowsシステムを起動します（前提条件）。
※基本的にOracle Database Applianceは、モニター、キーボド、マウス装置はないです。 Oracle Database ApplianceのOS起動run levelは3(テキスト- Full Multiuser Mode)です。

/opt/oracle/oak/bin/oakcli deployコマンドを実行すると、Oracle Appliance ManagerのWelcome画面が表示されます
	Welcome - Step1 Configuration Type – Step2 System Information – Step3 Generic Network – Step4 Public Network – Step5 Other Network – Step6 Database Information – Step7 ASR Information – Step8 CloudFS Information – Step9 Summary – Step10 Install progress – Step11 Complete – Step12 必要な情報を入力してインストールします。

Oracle Appliance Managerでは、TypicalとCustom構成タイプから一つを選んで構成できます。 Custom構成タイプを選んでVery LargeサイズでOracle RACを構成すると1時間30分かかります。次の表は、TypicalとCustomのインストール・ステップを比較した表です。

表　構成タイプ別比較

順番	Typical構成タイプ	Custom構成タイプ
1	Welcome	Welcome
2	Configuration Type	Configuration Type
3	System Information	System Information
4	Network Information	Generic Network
5	Database Information	Public Network
6	Summary	Other Network
7	Install Progress	Database Information
8	Complete	ASR Information
9		Cloud FS Information
10		Summary
11		Install Progress
12		Complete

Oracle RACとのインストーラー比較

通常Oracle RACを構築するには、Grid Infrastructure、Oracle DBのインストール、DBCA（Database Configuration Assistant）GUIツールを使用してインストールします。 Oracle Database ApplianceでOracle RACを構築する場合は、Oracle Appliance Manager Step Wizardを使用してインストールをします。

次の表はOracleソフトウェアが提供するGUIツールのステップとOracle Appliance Manager GUIツール(Custom構成タイプ)のステップとの相違点を比較してみた表です。

表　Oracle Grid InfrastructureとOracle Appliance Manager の
インストール・ステップ比較

RAC手順1：Oracle Grid Infrastructure Step	Appliance Manager Step
Grid Infrastructure - インストール・オプションの選択	System Information
Grid Infrastructure - インストールタイプの選択	Configuration Type
Grid Infrastructure - 製品言語の選択	Database Information
Grid Infrastructure - Grid プラグ・アンド・グレイの情報	Public Network
Grid Infrastructure - クラスタ・ノードの情報
Grid Infrastructure - ネットワーク・インタフェースの使用方法指定
Grid Infrastructure - 記憶域オプションの情報	Database Information
Grid Infrastructure - ASMディスク･グループの作成
Grid Infrastructure - ASMパスワードの設定
Grid Infrastructure - 障害の分離のサポート
Grid Infrastructure - 権限つきオペレーティング・システム･グループ
Grid Infrastructure - インストール場所の指定
Grid Infrastructure - インベントリの作成
Grid Infrastructure - 前提条件チェックの実行
Grid Infrastructure - 製品のインストール	Install Progress

表　Oracle DatabaseとOracle Appliance Managerの
インストール・ステップ比較

RAC手順2：Oracle データベースのインストールStep	Appliance Manager Step
Oracle DBのインストール - インストール・オプションの選択	Database Information
Oracle DBのインストール - Gridインストール・オプション	System Information
Oracle DBのインストール - 製品言語の選択	Database Information
Oracle DBのインストール - データベース・エディションの選択
Oracle DBのインストール - インストール場所の指定
Oracle DBのインストール - 権限つきOS・グループ
Oracle DBのインストール - 前提条件チェックの実行	Install Progress
Oracle DBのインストール - 製品のインストール
Oracle DBのインストール - 構成スクリプトの実行

表　Database Configuration AssistantとOracle Appliance Managerの
インストール・ステップ比較

RAC手順3：Oracle Database Configuration Assistant Step	Appliance Manager Step
DBCA - データベースタイプの選択	System Information
DBCA - 実行する操作を選択	Database Information
DBCA - データベース・テンプレート
DBCA - データベース識別情報
DBCA - 管理オプション
DBCA - データベース資格証明
DBCA - データベース・ファイルの位置
DBCA - リカバリ構成
DBCA - データベース・コンテンツ
DBCA - 初期化パラメータ
DBCA - データベース記憶域
DBCA - 作成オプション	Summary

Oracleソフトウェアが提供するGUIツールにおいて、ネットワークに関する設定ステップはAppliance ManagerのPublic Network Stepに相当し、データベースに関する設定ステップはAppliance ManagerのDatabase Informationに相当していることが分かりました。

RAC構成後のOracle Database Applianceソフトウェア設定情報

Oracle Appliance ManagerでOracle RAC構成が完了すると、OEMDC (Oracle Enterprise Manager Database Control)管理ツールも構成されます。確認内容は表やOEMDC画面で記述します。

表　Oracle Database Applianceのディレクトリパス情報

項目	値
Grid Home	/u01/app/11.2.0/grid
Grid Base	/u01/app/grid
Oracle Home	/u01/app/oracle/product/11.2.0/dbhome_1
Oracle Base	/u01/app/oracle
Oracle Inventory	/u01/app/oraInventory

表　Oracle Database ApplianceのASM情報
(ディスク・グループとストレージ)

項目	値
ASM Diskgroup +DATA size (業務データベース用)	1.6 TB (high redundancy) or 3.2 TB (high redundancy with external storage for backups)
ASM Diskgroup +RECO size (高速リカバリ領域用)	2.4 TB (high redundancy) or 0.8 TB (high redundancy with external storage for backups
ASM Diskgroup +REDO size (REDOログファイル用)	97.3 GB (high redundancy)
Data disk names	HDD_Ex_Sxx_wwidp1, where Sxx is the range S00-S19
Reco disk names	HDD_Ex_Sxx_wwidp2, where Sxx is the range S00-S19
Redo disk names	SSD_Ex_Sxx_wwidp1, where Sxx is the range S20-S23
Oracle ACFS (/cloudfs)	/dev/asm/acfsvol
Physical Volume name、 Volume size、Extent size	/dev/md1、465.66 GB、32768 (32 MB)
Volume Group name、 format、size	VolGroupSys、lvm2、465.66 GB
Logical Volume name (Root)	/dev/mapper/VolGroupSys-LogVolRoot、30 GB
Logical Volume name (Opt)	/dev/mapper/VolGroupSys-LogVolOpt、59 GB
Logical Volume name (Swap)	/dev/mapper/VolGroupSys-LogVolSwap、25165816
Logical Volume name (U01)	/dev/mapper/VolGroupSys-LogVolU01、97 GB
Block device (Opt、root、Swap)	253:1、253:0、253:3
Database block size	8192 KB (4096-32768KB まで選択可能)

表　Oracle Database ApplianceのOracle グループとユーザー情報

項目	値
Oracle Grid Infrastructure installation owner	grid, password:welcome1 UID 1000
Oracle Database installation owner	oracle, password:welcome1, UID 1001
Oracle Inventory system privileges group	oinstall, GID 1001
Oracle ASM Administrators system privileges	asmadmin, GID 1006
Oracle ASM Users system privileges	asmdba, GID 1004
Oracle ASM Operator system privileges	asmoper, GID 1005
Oracle Database Administrators system privileges	dba, GID 1002
Oracle Database Operator system privileges	racoper, GID 1003

表　Oracle Database Applianceのシステム設定情報

項目	値
インストールされているrpmパッケージ	Oracle Databaseのインストール前の要件として、必要なrpmパッケージがインストールされていました。
システムカーネル・パラメータ (/etc/sysctl.conf)	# Controls IP packet forwarding net.ipv4.ip_forward = 0 # Controls source route verification net.ipv4.conf.default.rp_filter = 1 # Do not accept source routing net.ipv4.conf.default.accept_source_route = 0 # Controls the System Request debugging functionality of the kernel # Controls whether core dumps will append the PID to the core filename # Useful for debugging multi-threaded applications kernel.core_uses_pid = 1 # Controls the use of TCP syncookies net.ipv4.tcp_syncookies = 1 # Controls the maximum size of a message, in bytes # Controls the default maxmimum size of a mesage queue # Controls the maximum shared segment size, in bytes # Controls the maximum number of shared memory segments, in pages # For 11g, Oracle-Validated setting for fs.file-max is 6815744 # For 10g, uncomment 'fs.file-max = 327679', and comment 'fs.file-max = 6553600' entry and re-run sysctl -p # fs.file-max = 327679 fs.file-max = 6815744 # Oracle-Validated setting for kernel.msgmni is 2878 kernel.msgmni = 2878 # Oracle-Validated setting for kernel.msgmax is 8192 kernel.msgmax = 8192 # Oracle-Validated setting for kernel.msgmnb is 65536 kernel.msgmnb = 65536 # Oracle-Validated setting for kernel.sem is '250 32000 100 142' kernel.sem = 250 32000 100 142 # Oracle-Validated setting for kernel.shmmni is 4096 kernel.shmmni = 4096 # Oracle-Validated setting for kernel.shmall is 1073741824 kernel.shmall = 1073741824 # Oracle-Validated setting for kernel.shmmax is 4398046511104 on x86_64 and 4294967295 on i386 architecture. Refer Note id 567506.1 kernel.shmmax = 4398046511104 # Oracle-Validated setting for kernel.sysrq is 1 kernel.sysrq = 1 # Oracle-Validated setting for net.core.rmem_default is 262144 net.core.rmem_default = 262144 # For 11g, Oracle-Validated setting for net.core.rmem_max is 4194304 # For 10g, uncomment 'net.core.rmem_max = 2097152', comment 'net.core.rmem_max = 4194304' entry and re-run sysctl -p # net.core.rmem_max = 2097152 net.core.rmem_max = 4194304 # Oracle-Validated setting for net.core.wmem_default is 262144 net.core.wmem_default = 262144 # For 11g, Oracle-Validated setting for net.core. wmem_max=2097152 # For 10g, uncomment 'net.core.wmem_max=2097152 # net.core.wmem_max=2097152 net.core.wmem_max=2097152 # Oracle-Validated setting for fs.aio-max-nr is 3145728 fs.aio-max-nr = 3145728 # For 11g, Oracle-Validated setting for net.ipv4. ip_local_port_range is 9000 65500 # For 10g, uncomment 'net.ipv4.ip_local_port_range = 1024 65000', comment 'net.ipv4.ip_local_port_range = 9000 65500' entry and re-run sysctl -p # net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.ip_local_port_range = 9000 65500 # Oracle-Validated setting for vm.min_free_kbytes is 51200 to avoid OOM killer vm.min_free_kbytes = 51200 vm.swappiness=100 fs.suid_dumpable=1 kernel.core_pattern=core.%e.%p net.ipv4.conf.all.arp_announce=2 net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.all.arp_filter=1 vm.nr_hugepages=26000
リソース制限設定 (/etc/security/limits.conf)	# Oracle-Validated setting for nofile soft limit is 131072 oracle soft nofile 131072 # Oracle-Validated setting for nofile hard limit is 131072 oracle hard nofile 131072 # Oracle-Validated setting for nproc soft limit is 131072 oracle soft nproc 131072 # Oracle-Validated setting for nproc hard limit is 131072 oracle hard nproc 131072 # Oracle-Validated setting for core soft limit is unlimited oracle soft core unlimited # Oracle-Validated setting for core hard limit is unlimited oracle hard core unlimited # Oracle-Validated setting for memlock 72000000 oracle soft memlock 72000000 # Oracle-Validated setting for memlock 72000000 oracle hard memlock 72000000 grid soft nofile 131072 grid hard nofile 131072 grid soft nproc 131072 grid hard nproc 131072 grid soft core unlimited grid hard core unlimited grid soft memlock 72000000 grid hard memlock 72000000
oracleユーザーの環境変数 (.bash_profile)	# .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH export ORACLE_HOME=/u01/app/oracle/product/11.2.0 /dbhome_1 export PATH=$ORACLE_HOME/bin:.:$PATH
gridユーザーの環境変数	# .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH ulimit -S -c unlimited > /dev/null 2>&1 export ORA_OAK_HOME=/opt/oracle/oak export ORACLE_HOME=/u01/app/11.2.0/grid export PATH=$ORA_OAK_HOME/bin:$ORACLE_HOME /bin:.:$PATH
ネットワーク設定 (/etc/hosts)	# Do not remove the following line, or various programs # that require network functionality will fail. ::1 localhost6.localdomain6 localhost6 # Following added by OneCommand 127.0.0.1 localhost.localdomain localhost # PUBLIC HOSTNAMES # PRIVATE HOSTNAMES 192.168.16.24 test011-priv0.localdomain.com test011-priv0 192.168.16.25 test012-priv0.localdomain.com test012-priv0 192.168.17.24 test011-priv1.localdomain.com test011-priv1 192.168.17.25 test012-priv1.localdomain.com test012-priv1 # VIP HOSTNAMES 192.168.0.5 test011-vip.localdomain.com test011-vip 192.168.0.6 test012-vip.localdomain.com test012-vip # NET(0-3) HOSTNAMES 192.168.0.3 test011.localdomain.com test011 192.168.0.4 test012.localdomain.com test012 #SCAN IP 192.168.0.7 test01-scan.localdomain.com test01-scan
Oracleソフトウェアのオプション、コンポーネント、バージョン	Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP, Data Mining and Real Application Testing options SQL> select * from v$version; BANNER -------------------------------------------------------------------------------- Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production PL/SQL Release 11.2.0.2.0 - Production CORE 11.2.0.2.0 Production TNS for Linux: Version 11.2.0.2.0 - Production NLSRTL Version 11.2.0.2.0 - Production

表　Oracle Net Serviceの情報

項目	値
Oracle Net Listener (listener.ora)	LISTENER= (DESCRIPTION= (ADDRESS_LIST= (ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER)) ) ) LISTENER_SCAN1= (DESCRIPTION= (ADDRESS_LIST= (ADDRESS=(PROTOCOL=IPC)(KEY=LISTENER_SCAN1)) ) ) ENABLE_GLOBAL_DYNAMIC_ENDPOINT_LISTENER_SCAN1= ONENABLE_GLOBAL_DYNAMIC_ENDPOINT_LISTENER=ON
ローカル・ネーミング・メソッドの構成 (tnsnames.ora)	TESTDB01 = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP) (HOST = test01-scan) (PORT = 1521) ) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = testdb01) ) )

※Oracle Database ApplianceでのOracleリスナーは、SCANリスナーとして構成されています。

表　Oracle初期化パラメータの主な情報

データベース・
インスタンス

testdb012.__db_cache_size=45097156608
testdb011.__db_cache_size=45097156608
testdb012.__java_pool_size=134217728
testdb011.__java_pool_size=134217728
testdb012.__large_pool_size=134217728
testdb011.__large_pool_size=134217728
testdb012.__pga_aggregate_target=25769803776
testdb011.__pga_aggregate_target=25769803776
testdb012.__sga_target=51539607552
testdb011.__sga_target=51539607552
testdb012.__shared_io_pool_size=0
testdb011.__shared_io_pool_size=0
testdb012.__shared_pool_size=5771362304
testdb011.__shared_pool_size=5771362304
testdb012.__streams_pool_size=0
testdb011.__streams_pool_size=0
*.audit_file_dest='/u01/app/oracle/admin/testdb01/adump'
*.audit_sys_operations=TRUE
*.audit_trail='db'
*.cluster_database=true
*.compatible='11.2.0.2.0'
*.control_files='+DATA/testdb01/control01.ctl'
*.cpu_count=24
*.db_block_size=8192
*.db_create_file_dest='+DATA'
*.db_create_online_log_dest_1='+REDO'
*.db_domain=''
*.db_files=1024
*.db_lost_write_protect='TYPICAL'
*.db_name='testdb01'
*.db_recovery_file_dest='+RECO'
*.db_recovery_file_dest_size=499289948160
*.diagnostic_dest='/u01/app/oracle'
*.dispatchers='(PROTOCOL=TCP) (SERVICE=testdb01XDB)'
*.fast_start_mttr_target=300
*.filesystemio_options='setall'
*.global_names=TRUE
testdb012.instance_number=2
testdb011.instance_number=1
*.log_archive_format='%t_%s_%r.dbf'
*.log_buffer=67108864
*.nls_language='JAPANESE'
*.nls_territory='JAPAN'
*.open_cursors=1000
*.parallel_min_servers=0
*.parallel_threads_per_cpu=2
*.pga_aggregate_target=25769803776
*.processes=2400
*.remote_listener='test01-scan:1521'
*.session_cached_cursors=100
*.sga_target=51539607552
*.undo_retention=900
testdb012.undo_tablespace='UNDOTBS2'
testdb011.undo_tablespace='UNDOTBS1'

ASM・
インスタンス

NAME                                  VALUE
-------------------------------------------------------------------
asm_diskgroups                        RECO, DATA, REDO
asm_diskstring                        /dev/mapper/*D_*p*
asm_power_limit                       1
audit_file_dest                       /u01/app/11.2.0/grid/rdbms/audit
audit_sys_operations                  FALSE
background_core_dump                  partial
background_dump_dest                  /u01/app/grid/diag/asm/+asm/+ASM1/trace
cluster_database                      TRUE
cluster_database_instances            4
core_dump_dest    　           /u01/app/grid/diag/asm/+asm/+ASM1/cdump
db_cache_size                         integer 0
db_unique_name                        +ASM
diagnostic_dest                       /u01/app/grid
file_mapping                          FALSE
instance_name                         +ASM1
instance_number                       1
instance_type                         asm
large_pool_size                       12M
local_listener       (DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)
(HOST=192.168.0.5)(PORT=1521))))
memory_max_target                     1G
memory_target                         1G
pga_aggregate_target                  0
processes                             600
service_names                         +ASM
sessions                              936
sga_max_size                          1G
sga_target                            0
shared_pool_reserved_size             29569843
shared_pool_size                      0
sort_area_size                        65536
spfile              +DATA/test01-c/asmparameterfile/registry.253.775841735
statistics_level                      TYPICAL
user_dump_dest              /u01/app/grid/diag/asm/+asm/+ASM1/trace
workarea_size_policy                  AUTO

※Oracleインスタンスは、手動メモリー管理で自動共有メモリー管理(sga_target)と自動PGAメモリー管理(pga_aggregate_target)になっています。
※ASMインスタンスは、自動メモリー管理(memory_target)になっていて、HIGH冗長性でRECO、DATA、 REDOという三つのディスク・グループで構成されています。
※Oracle Database ApplianceでのOracle Databaseは、Oracle Managed Filesを使用してデータベース・ファイルを管理しています。

ASM 各ディスク・グループの用途は次の通りです。
DATAディスク・グループ：表領域のデータファイル、一時ファイル、制御ファイル、ブロック・チェンジ・トラッキング・ファイルなどが作成される場所
REDOディスク・グループ：REDOログ・ファイルが作成される場所
RECOディスク・グループ：多重化REDOログ、多重化制御ファイル、RMANバックアップ・ファイル、アーカイブ・ログ、フラッシュバック・ログファイル、RACのOracle Cluster Registryファイルなどが格納される高速リカバリ領域のデフォルトの場所

Oracle Enterprise Manager Database Controlでのデータベース確認画面

図 15　クラスタ・データベースのホームのウェブページ
https://192.168.0.7:1158/emでアクセスし、ログインする。
ユーザー名：sys
パスワード：welcome1

図　クラスタ・インターコネクトのウェブページ

図　自動ストレージ管理・ホームのウェブページ
ASM(自動ストレージ管理)ログイン
ユーザー名：sys
パスワード：welcome1
接続モード：sysdba

図　自動ストレージ管理・ディスク・グループのウェブページ

図　クラスタ・データベースの表領域のウェブページ

図　表領域のデータファイルの一覧

Oracle Database ApplianceでのOracle RAC環境のcleanup

インストールしたOracle RAC環境をいつでもcleanupできるスクリプトが用意されています。

rootユーザーに切り替えて次のコマンドを実行すれば、終了
[root@test011 ~]# /opt/oracle/oak/onecmd/cleanupDeploy.pl

※ログ・ファイルは、/opt/oracle/oak/onecmd/tmp ディレクトリに各ステップ別作成されます。

cleanupのステップは8段階でした。

step 1 SetupSSHroot
step 2 deinstallASR
step 3 DeinstallGI
step 4 resetmultipathconf
step 5 DropUsersGroups
step 6 resetnetwork
step 7 resetpasswd

step 8 reboot

Step 1からstep8まで、10分程度で終わりました。

第5回に続きます……

Oracle Database Applianceの検証

第4回-2「Oracle RAC構築-ソフトウェア編」