12cR1 RAC суулгах зааварчилгаа

[Munkhsugar (Ia Lc)]

Тохируулах RAC нь дараах бүтэцтэй харагдана.

• Public сүлжээ нь 192.168.8.*

• Private сүлжээ нь 172.16.130.*

  

Storage серверт Openfiler системийг ашигласан. Энэхүү заавчилгаа нь дараах бүтэцтэй.

1. Openfiler тохиргоо
   Энэ хэсэгт бодит хадгалалтын төхөөрөмж холбон түүнийг логик хэсгүүдэд хуваана. Мөн ISCSI ашиглан node-үүдэд storage-ийг share хийнэ.
2. Node Configuration
   Үндсэн node-үүдийн тохиргоог хийх ба storage-ийг холбоно.
3. ASM тохиргоо
   Өгөгдлийн сангийн өгөгдлүүдийг хадгалах ASM дискийг үүсгэнэ.
4. Grid Setup
5. Database software setup
6. Database үүсгэх

Openfiler-ийг тохируулах:

1. Өгөгдсөн IP руу хандана. Default хэрэглэгчийн нэр нт openfiler, нууц үг нь password.
   

2. Physical volume үүсгэнэ.
   

   

3. Энэ хэсэгт дискийг сонгоно.
   

4. “Create” товч дээр дарж partition-ийг үүсгэнэ.
   

   

5. Physical partition үүсгэсэний дараа доорх зураг шиг харагдана. Үүний дараа баруун талд байрлах цэсээс “Add volume” товчийг дарж volume-уудыг үүсгэнэ.
   

   

6. Үүсгэсэн бодит partition-ийг сонгож “Add volume group” товч дээр дарж volume group-рүү нэмнэ.
   

7. Үүсгэсэн volume group нь дараах байдлаар харагдана.
   

   

8. “Add volume” товч дээр дарж volume-уудыг үүсгэнэ. Энэ туршилтад бид ISCSI ашиглах тул filesystem / Volume type-ийн block сонголтыг сонгоно.
   

   

9. Volume-уудыг үүсгэхдээ өөрт шаардлагатай хэмжээ, тоогоор энэхүү volume-уудыг үүсгэнэ.
   

   

10. Volume-уудыг үүсгэсний дараа service хэсэгт хандан “ISCSI Target” service-ийг идэвхжүүлж эхлүүлнэ.
    

    

11. “System” цонхны доо хэсэгт “Network Access Configuration” хэсэгт node-үүдийн байрлаж буй сүлжээг тохируулан “Share” сонголтыг сонгоно.
    

12. Сүлжээн тохируулсны дараа Volume цонхонд дарж түүний баруун хэсэгт байрлах ISCSI Target цэсийг сонгоно. Тухайн цэсийг сонгох үед дараах тохиргоонууд харагдах ба “Add” товчийг дарж ISCSI Target-ийг идэвхжүүлнэ.
    

    

13. “LUN Mapping” цэсийг сонгон share хийх дискнүүдийг MAP товчийг дарж идэвхжүүлнэ.
    

    

14. “Network ACL” хэсэгт RAC-ийн node-үүдийн байрлаж буй сүлжээг “Allow” хийнэ.
    

15. Openfiler үйлдлийн системд хандан /etc/initiators.deny тохиргоонд харагдаж буй IQN-ий өмнө ‘#’ бичсэнээр node-үүдээс дискнүүд рүү хандах боломжтой болох юм.
    

    

Node-үүдийн тохиргоо:

1. Preinstall package-ийг суулгана.

   # yum install oracle-rdbms-server-12cR1-preinstall.x86_64 -y

2. Node-үүдийг update хийнэ. (заавал хийх шаардлагагүй)

   # yum update -y

3. Hosts-уудыг тохируулна.

   # vi /etc/hosts

• Public сүлжээ нь сүлжээний интерфэйс дээр авсан хаяг байх ба эдгээр хаягаар node бүр рүү ханддаг байна.`

• Private сүлжээгээр нь node-үүд зөвхөн хоорондоо холбогдсон байна.

• Virtual сүлжээ нь node бүрд байх шаардлагатай ба тухайн сүлжээнд ашиглагдаагүй хаяг байх ёстойг анхаарна уу. (тодорхой сүлжээний интерфэйсд оноож өгөх шаардлагагүй)

• SCAN хаягууд нь мөн адил сүлжээнд ашиглагдаагүй хаягууд байх шаардлагатай.

  

4. SSH түлхүүрийг root болон oracle хэрэглэгчид тус бүрд нь үүсгэх ба node-үүд нь хоорондоо нууц үггүйгээр холбогддог байх шаардлагатай. Үүний тул хэрэглэгч тус бүрээр нэвтрэн дараах командыг хийнэ:

   Node бүрт:

   # ssh-keygen

   Эхний буюу node01-т:

   # ssh-copy-id node02

   Дараагийн node буюу node02-т:

   # ssh-copy-id node01

   Шалгахдаа дараах командаар шалгана:

   # ssh node01

5. Stop and disable firewall

   # systemctl stop firewalld.service
# systemctl disable firewalld.service

   Configure selinux

   # setenforce 0
# sed -i s/^SELINUX=.*$/SELINUX=permissive/ /etc/selinux/config

6. NTP суулгана.

   # yum install ntp -y

   NTP суулгасны дараа тохиргоог хийнэ:

   # vi /etc/sysconfig/ntpd

   “-x”-ийг нэмж оруулах хэрэгтэй. Тохируулсны дараа доорх зураг шиг харагдана:
   

7. Oracleasm суулгана.

   # yum install oracleasm-support kmod-oracleasm
# wget http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.12-1.el6.x86_64.rpm
# rpm -i oracleasmlib*

8. Шаардлагатай сангуудыг суулгасан эсэхийг дараах командаар шалгана:

   # rpm -qa | grep oracleasm

   Доорх 3н package заавал суусан байх шаардлагатайг анхаарна уу.

   kmod-oracleasm-2.0.8-27.0.1.el7.x86_64
oracleasmlib-2.0.12-1.el6.x86_64
oracleasm-support-2.1.11-2.el7.x86_64

Node-үүд дээр ISCSI суулган тохируулан:

1. Share хийгдсэн дискнүүдийг илрүүлэх.

   # iscsiadm -m discovery -t st <IP>

   Гаралт дээр тухайн share хийгдсэн storage-ийн IP хаяг болон дахин давтагдашгүй IQN нь хэвлэгдэнэ:
   

   

2. Уг хаягийн тохиргоог шинэчлэн хадгална:

   # iscsiadm -m discoverydb -t st -p <IP>

3. Алхам нэг дээр хэвлэгдсэн IQN-ийг ашиглан storage-руу нэвтэрнэ.

   # iscsiadm -m node -T <IQN> -p <IP> -l

   

4. Холбогдсон эсэхийг дараах командаар шалгана.

   # iscsiadm -m session

   

ASM дискнүүдийг тохируулах:

1. Share хийгдсэн дискнүүдийг fdisk -l команд ашиглан харах.
   

   

2. Бүх дискнүүд дээр дараах командын дагуу partition үүсгэх шаардлагатай.

   # fdisk \<DISK PATH\>

   Жишээлбэл:

   # fdisk /dev/sdb

   

   n үсгийг оруулан Enter дарснаар шинэ partition үүсгэнэ. Дискийг бүхий л хэмжээгээр нь partition үүсгэх тул дараа дараагийн сонголтуудад Enter дарж default утгыг сонгон w дарж ENTER товчийг дарж partition үүсгэнэ.

   

   Үүсгэсэн partition-ууд дараах байдлаар харагдана.

   

3. Дискнүүдэд partition үүсгэсэн тул одоо ASM дискнүүдийг үүсгэнэ. Үүний тулд oracleasm-ийг initialize хийнэ.

   # oracleasm init

   

4. Oracleasm-ийг тохируулна.

   # oracleasm configure -i

   

   Default user set to oracle
   Default group set to oinstall
   Start on boot: y
   Scan on boot: y

5. ASM дискнүүдийг үүсгэнэ.

   # oracleasm createdisk \<NAME\> \<PARTITION\>

   Жишээлбэл:
   

   

6. Үүсгэсэн дискнүүдийг жагсаан харна:

   # oracleasm listdisks

   

7. Нөгөө node-ийн хувьд oracleasm scandisks командийг ашиглан scan хийж үүсгэсэн ASM дискнүүдийн мэдээллийг авна.
   

   Дээрх алхмуудыг хийснээр ASM дискнүүдийг 2 node-д тохируулж дуусах юм.

Grid Setup:

1. Grid болон database-ийн setup-ийг эндээс татна уу.

2. Цэгцтэй байлгах үүднээс бид татсан Setup-ийн zip файлуудыг /stage хавтас үүсгэн хадгална.

   # mkdir /stage

   Мөн setup-д шаардлагатай grid home болон oracle home зэрэг хавтаснуудыг давхар үүсгэнэ.

   # mkdir -p /u01/app/12.1.0
# mkdir -p /u01/app/oracle/product/12.1.0/dbhome_1
# chown -R oracle:oinstall /u01 /stage
# chmod -R 775 /u01 /stage

3. /stage хавтсанд дараах файлууд байна.
   

   

   Oracle хэрэглэгчээр grid home руу grid setup-ийн zip файлуудыг задална:

   # cd /u01/app/12.1.0
# unzip linuxamd64_12102_grid_1of2.zip
# unzip linuxamd64_12102_grid_2of2.zip

   Root эрхээр cvuqdisk санг суулгана:

   # cd grid/rpm
# rpm -Uvh cvuq*

   Node 2 руу санг дамжуулан суулгана.

   # scp cvuq* node02:/tmp/
# rpm -Uvh /tmp/cvuq*

4. Үйлдлийн системээс switch user хийж oracle хэрэглэгчээр нэвтрэн орно.

Grid Setup:

1. Setup-ийг ажиллуулах

   # /u01/app/12.1.0.2/grid/runInstaller

2. Шинэ кластер үүсгэх тул эхний сонголтыг сонгоно.
   

   

3. Стандарт кластер тохируулах
   

   

4. Advanced сонголтыг сонгоно.
   

   

5. Хэлээ сонгох
   

   

6. Кластерийн нэр болон SCAN нэрийг тохируулах. (SCAN нэр нь /etc/hosts тохиргоотой таарч байх ёстойг анхаарна уу.)
   

   

7. Add… товч дээр дарж node 2-ийг нэмнэ.
   

   

8. Нэмэхдээ Public болон Virtual hostname-үүдийг оруулж өгнө.
   

9. Үүний дараа node-үүдийг сонгож “OS Password” хэсэгт нууц үгийг оруулан “Reuse private and public key existing in the user home” сонголтыг идэвхижүүлэн “Test” хийнэ.
   

   

10. Тест хийж байгаа байдал.
    

    

11. Холболт амжилттай болсон тул “OK” товчийг дарж үргэлжлүүлнэ.
    

    

12. Интерфэйсүүдийг тохируулна. Интернет сүлжээг Public, дотоод холболтыг ASM, Private сонголтыг сонгол үргэлжлүүлнэ.
    

    

13. Flex ASM-ийг сонгоно.
    

    

14. Change Discovery Path… дээр дарж oracleasm дискнүүдийг заана. OracleASM дискнүүд нь /dev/oracleasm/disks/ хэсэгт байрлана.
    

    

15. Disk group-ийн нэрийг өгч Redundancy-г сонгоно. Энэ хэсгийн сонголт бүр нь өөр өөрийн давуу тал сул талуудтай. Энгийнээр:

• High - дискийн хэмжээний 1/3-ийг ашиглана.

• Normal - дискийн хэмжээний 1/2-ийг ашиглана.

• External - дискээ бүрэн ашиглана.

  

16. Холбогдох эрхүүдийг үүсгэнэ.
    

    

17. IPMI тохируулах боломжтой.
    

    

18. EM Cloud control-ийг мөн адил тохируулах боломжтой.
    

    

19. Хэрэглэгчийн group-үүдийг тохируулна.
    

    

20. Oracle base-ийг оруулна.
    

    

21. OraInventory хавтсыг оруулна.
    

    

22. Суулгах үед ажиллуулан шаардлагатай скриптүүдийг холбогдох нууц үгийг оруулснаар автомат байдлаар ажиллуулах боломжтой.
    

    

23. Бид тодорхой DNS сервер тохируулаагүй тул дараах алдаануудыг алгасаж болно. Доорх гарсан алдаануудаас “/dev/shm mounted as temporary file system” алдааг засна.
    

    

24. Алдааг засахдаа дараах алхмуудын дагуу хийнэ.

    # df -h /dev/shm командаар /dev/shm ийн хэмжээг шалгана.

    

    Үүний дараа vi /etc/fstab командаар дээрх хэмжээний дагуу tmpfs-ийг нэмнэ.

    
    
    # mount -o remount /dev/shm

25. Бусад алдаануудыг “ignore all” check хийж “Next” товчийг дарна.
    

    

26. Эцсийн байдлаар тохиргоонуудыг харуулсан хэсгийг нягтлан “Install” товчийг дарна.
    

    

27. Суулгах явцад дараах цонх гарч ирэх ба дарааллын дагуу root эрхээр shell script-үүдийг ажиллуулан “OK” товчийг дарна. (Заавал дугаарын дагуу ажиллуулах ёстойг анхаарна уу)
    

28. Суулгасны дараа дараах командын дагуу cluster-ийн статусыг шалгана.

    # cd /u01/app/12.1.0/grid/bin
# ./crsctl stat res -t

    

ASM диск үүсгэх.

1. ASMCA-г ажиллуулах.

   # cd /u01/app/12.1.0/grid/bin
# ./asmca

2. RECO болон DATA дискнүүдийг үүсгэх.
   RECO диск үүсгэсэн байдал:
   

   

   DATA диск үүсгэсэн байдал:
   

   

   Үр дүн:
   

   

Database software суулгах:

1. Tmp хавтсанд /stage -д буй database-ийн zip -үүдийг задлах.

   # cd /tmp
# unzip /stage/linuxamd64_12102_database_1of2.zip
# unzip /stage/linuxamd64_12102_database_2of2.zip

2. Setup-ийг ажиллуулах.

   # cd database
# ./runInstaller

3. Oracle support-ийн mail-ээ оруулах. (Заавал биш)
   

   

4. “Install database software only” сонголтыг сонгоно.
   

   

5. RAC дээр суулгаж байгаа тул дараах сонголтыг сонгоно.
   

   

6. Системийн хэрэглэгчийн нууц үгийг оруулан SSH холболтыг тест хийнэ.
   

   

7. Хэл сонгох
   

   

8. “Enterprise Edition”
   

   

9. Oracle base болон Oracle home-ийн замыг заана.
   

   

10. Бүх хэрэглэгчдийн group-ийг тусгайлан ялгаж тохируулах боломжтой. Энэ туршилтад DBA group-ийг бүгдэд нь тохируулсан.
    

    

11. Бид тодорхой DNS сервер тохируулаагүй тул дараах алдаануудыг алгасаж болно.
    

    

12. Сонголтуудыг шалган software-ийг суулгах.
    

    

13. Root script-ийг node бүр дээр ажилллуулна.

    # /u01/app/oracle/product/12.1.0/dbhome_1/root.sh

14. Software амжилттай суусан.
    

    

Database үүсгэх:

1. Өгөгдлийн сан үүсгэхийн тулд дараах командыг ажиллуулна.

   # cd /u01/app/oracle/product/12.1.0/dbhome_1/bin/
# ./dbca

2. “Create database” сонголтыг сонгоно.
   

   

3. “Advanced mode”
   

   

4. Өгөгдлийн сангийн төрлийг сонгоно. Ихэнх тохиолдолд “General purpose” байдлаар ашигладаг. Хэрэв их хэмжээний өгөгдлийг удаан хугацаагаар хадгалан шинжилгээ хийх зорилготой бол “Data Warehousing” төрлийн сонгох боломжтой.
   

   

5. SID-ийг тохируулна. SID нь Linux орчинд том жижиг үсэг ялгаатай байдаг тул томоор бичихийг зөвлөж байна.
   

   

6. Өгөгдлийн санг ажиллуулахад ашиглагдах node-үүдийг сонгоно.
   

   

7. Enterprise manager суулгах боломжтой.
   

   

8. Тусгай эрх болгонд нууц үг өгөх боломжтой.
   

   

9. ASM дискнүүдийг ашиглана. Өгөгдлийн сангийн өгөгдлүүдийг “+DATA”, recovery файлуудыг “+RECO” дискэнд хадгалахаар тохируулна. Архив горимыг мөн идэвхжүүлнэ.
   

   

10. Тест өгөгдлийн санг давхар үүсгэж болно. Мөн өгөгдлийн санг үүсгэгдсэний дараа скрипт ажиллуулах боломжтой.
    

    

11. Санах ойн хэмжээг тохируулна. Ингэхдээ өгөгдлийн санд учрах ачаалал зэргийг тооцоолон санах ойг хуваарилах хэрэгтэй. Эсвэл энгийнээр AMM-г идэвхжүүлэн санах ойг автомат байдлаар хуваарилах боломжтой.
    

    

12. “Connection” хэсэгт өгөгдлийн сангийн холболтын төрлийн тодорхойлох боломжтой.
    

    

13. Өгөгдлийн санг дахин үүсгэх боломж бүхий скриптийг гарган авах боломжтой.
    

    

14. Ямар нэг алдаа байгаа эсэхийг шалгана.
    

    

15. Өгөгдлийн санг суулгах ерөнхий мэдээлэл.
    

    

16. Өгөгдлийн сан амжилттай суусан бол дараах хуудас харагдана.