[Raid] Raid Controller 테스트

## 테스트환경 ##

 

메인보드      : DG41TY

O / S           : CentOS 5.1 (1220SA의 경우 CentOs 5.1까지밖에 드라이버 제공을 안함)

레이드카드  : Adaptec 1220SA

하드디스크  : SATA 1T  X 2EA

메모리         : 2GB

 

 

## 테스트목적 ##

 

하드웨어 레이드 구성 및 모니터링 방법에 대해 알아보고 장애발생시 대처방법등에 대하여 숙지하기 위하여 테스트를 진행함.

 

 

## 테스트 방법 ##

 

1. 하드디스크 하나에 장애가 발생했을때 나머지 하드디스크 하나로 부팅이 되는지 여부 확인.

 

2. 하드디스크 하나에 장애가 발생했을때 새로운 디스크를 장착하고 자동으로 Rebuilding 되는지 여부 확인.

 

3. 레이드카드 장애가 발생했을때 메인보드에서 지원하는 SATA 포트에 꽂아서 부팅이 되는지 여부 확인.

 

4. 레이드카드에서 서로 포트를 다르게 꽂았을때 정상부팅 여부 확인 및 데이터 이상유무 확인.

 

5. 하드디스크 하나에 장애가 발생했을때 기존 Online 상태의 하드디스크의 레이드 카드 포트가 바뀐상황이고 새로운 하드디스크를 다른 포트에 꽂았을때

    정상적으로 Rebuilding 되는지 여부 확인.

 

 

## 진행과정 ##

 

1. BIOS 설정

 

최초부팅시 Adaptec에서 제공하는 드라이버를 제대로 읽어들이지 못하는 현상이 발생합니다.

처음에는 제대로 못 읽는지 모르고 키보드가 먹통인것 같이 느껴지는 현상이 발생하여 메인보드도 바꿔보았지만

원인은 BIOS 쪽에 있었습니다.

 

BIOS > Security > Expansion Card Text 부분을 Enable 시켜줍니다.

 

2. CentOS 설치

 

Adaptec 1220SA 같은 경우는 CentOs 5.1 까지밖에 드라이버를 지원하지 않기때문에 CentOS 5.1로 설치해야 합니다.

추가로 CentOS 5.1은 DG41TY의 내장랜카드인 RTL8111/8168B를 지원하지 않기때문에 이사님꼐 말씀드려서 남는 랜카드 하나를 받아 설치를 진행해야 합니다.

이유는 추후 yum update를 해야하기 때문입니다.

 

OS 설치시 text dd로 설치를 진행합니다.

첨부한 adp3132.rhel5qu1.i686.img 파일을 USB에 넣어간후 해당파일 선택하여 레이드 드라이버를 설치해줍니다.

 

※ 주의사항

 

해당드라이버를 설치해 주지 않을 경우 모니터링 툴인 StorMan이 설치가 되어도 장치를 인식하지 못하기 때문에 모니터링을 할 수 없습니다.

또한 리눅스 설치시 하드디스크 볼륨명이 /dev/device-mapper/XXXXXXXXXXXXXXX 이런식으로 나오게 됩니다.

 

3. yum update

 

WARNING: No module adp3132 found for kernel 2.6.18-53.el5, continuing anyway Installing: kernel-smp라는 메시지가 떨어집니다.

위의 메시지가 발생하는 이유는 update하려는 커널에서 해당모듈을 찾을수 없기때문입니다.

그렇기 때문에 다음과 같이 해당 모듈을 올려주고 커널이미지를 재생성 해줍니다.

 

cd /lib/modules/

 

cp -rvp 2.6.18-53.el5/updates 2.6.18-164.6.1.el5/

 

depmod -a 2.6.18-164.6.1.el5

 

cd /boot/

mv initrd-2.6.18-164.6.1.el5.img initrd-2.6.18-164.6.1.el5.img.org

 

mkinitrd /boot/initrd-2.6.18-164.6.1.el5.img 2.6.18-164.6.1.el5

 

※ 만약 이미지 이름을 바꿔서 생성할 경우  /etc/grub.conf도 수정해줘야 합니다.

 

4. StorMan 설치

 

첨부한 asm_linux_x86_v6_10_18451.rpm 설치

 

vi /etc/ld.so.conf

 

맨 아랫부분에 아래 한줄을 추가해줍니다.

 

/usr/StorMan/

 

ldconfig

 

5. 리부팅

 

정상적으로 부팅완료되었고 raid 드라이버 모듈 올라옮.

 

6. 테스트 진행

 

위의 테스트 방법에서 언급한 방법으로 모두 테스트 진행해 보았음.

 

1. 하드디스크 한개를 제거하고 부팅시

 

   => 정상부팅 완료

 

2. 새로운 디스크 장착시 자동 Rebuilding여부

 

   => 핫스왑을 지원하기 때문에 바로 인식하여 Rebuilding됨.

 

3. 레이드카드에서 모두 빼고 하나의 디스크만 메인보드에서 지원하는 SATA 포트에 꽂음

 

   => 정상부팅 완료

 

4. 레이드카드 포트를 맞 바꿔서 꽂았을때 정상부팅 및 데이터 이상유무 확인

 

   => 정상부팅 완료 및 데이터 이상없음.

 

5. 하드디스크 한개 장애 발생하고 기존디스크 레이드카드 포트바뀐 상황에서 새로운 디스크 추가시 정상부팅여부

 

    => 정상인 하드디스크 포트 바꾼후 새로운 하드연결후 부팅시 실패함.

          레이드 설정화면에서 디스크 추가해준후 부팅실시하고 StorMan으로 확인해보면 State가 Ready 상태가 되어 있는거 확인 가능함.

 

[root@raid StorMan]# ./hrconf getconfig 1 pd

 

Controllers found: 1

----------------------------------------------------------------------

Physical Device information

----------------------------------------------------------------------

   Channel #0:

      Transfer Speed                        : SATA 3.0 Gb/s

      Device #1

         Device is a Hard drive

         State                              : Ready

         Supported                          : Yes

         Transfer Speed                     : SATA 3.0 Gb/s

         Reported Channel,Device(T:L)       : 0,1(1:0)

         Vendor                             : ST310005

         Model                              : 28AS

         Firmware                           : CC34

         Serial number                      : 9VP0F3HL

         Size                               : 953865 MB

         Write Cache                        : Enabled (write-back)

         FRU                                : none

         S.M.A.R.T.                         : No

         S.M.A.R.T. warnings                : 0

      Device #2

         Device is a Hard drive

         State                              : Online

         Supported                          : Yes

         Transfer Speed                     : SATA 3.0 Gb/s

         Reported Channel,Device(T:L)       : 0,2(2:0)

         Vendor                             : ST310005

         Model                              : 28AS

         Firmware                           : CC34

         Serial number                      : 9VP0BVL9

         Size                               : 953865 MB

         Write Cache                        : Enabled (write-back)

         FRU                                : none

         S.M.A.R.T.                         : No

         S.M.A.R.T. warnings                : 0

 

[root@raid StorMan]# ./hrconf setstate 1 device 0 1 HSP

 

[root@raid StorMan]# ./hrconf getconfig 1 pd

 

Controllers found: 1

----------------------------------------------------------------------

Physical Device information

----------------------------------------------------------------------

   Channel #0:

      Transfer Speed                        : SATA 3.0 Gb/s

      Device #1

         Device is a Hard drive

         State                              : Rebuilding

         Supported                          : Yes

         Transfer Speed                     : SATA 3.0 Gb/s

         Reported Channel,Device(T:L)       : 0,1(1:0)

         Vendor                             : ST310005

         Model                              : 28AS

         Firmware                           : CC34

         Serial number                      : 9VP0F3HL

         Size                               : 953865 MB

         Write Cache                        : Enabled (write-back)

         FRU                                : none

         S.M.A.R.T.                         : No

         S.M.A.R.T. warnings                : 0

      Device #2

         Device is a Hard drive

         State                              : Online

         Supported                          : Yes

         Transfer Speed                     : SATA 3.0 Gb/s

         Reported Channel,Device(T:L)       : 0,2(2:0)

         Vendor                             : ST310005

         Model                              : 28AS

         Firmware                           : CC34

         Serial number                      : 9VP0BVL9

         Size                               : 953865 MB

         Write Cache                        : Enabled (write-back)

         FRU                                : none

         S.M.A.R.T.                         : No

         S.M.A.R.T. warnings                : 0

 

 

## StorMan 모니터링 ##

 

cd  /usr/StorMan/

 

[root@raid StorMan]# ./hrconf

  | UCLI |  Adaptec uniform command line interface

  | UCLI |  Version 6.10 (B18451)

  | UCLI |  (C) Adaptec 2003-2009

  | UCLI |  All Rights Reserved

 BACKUP        | saves the current configuration to a file

 CREATE        | creates a logical device

 DELETE        | deletes one or more logical devices

 GETCONFIG     | prints controller information

 GETSTATUS     | displays the status of running tasks

 GETVERSION    | prints version information for all controllers

 IDENTIFY      | blinks LEDS on device(s) connected to a controller

 RESCAN        | checks for new or removed drives

 RESTORE       | restores a configuration from a saved file

 ROMUPDATE     | updates controller firmware

 SETBOOT       | marks a logical device bootable

 SETCONFIG     | restores the default configuration

 SETSTATE      | manually sets the state of a physical or logical device

 TASK          | performs a task such as build/verify on a logical device

 

명령어는 다음과 여러개가 존재합니다. 이부분 확인하시고 각자 필요한 부분 사용하시며 될것 같습니다.

 

다음의 명령으로 하드디스크의 현재상태의 확인이 가능합니다.

 

[root@raid StorMan]# ./hrconf getconfig 1 al

 

Controllers found: 1

----------------------------------------------------------------------

Controller information

----------------------------------------------------------------------

   Controller Status                        : Optimal

   Channel description                      : SATA

   Defunct disk drive count                 : 0

   Logical devices/Failed/Degraded          : 1/0/1

   --------------------------------------------------------

   Controller Version Information

   --------------------------------------------------------

   BIOS                                     : Not supported

   Driver                                   : 1.4-0 (12085)

----------------------------------------------------------------------

Logical device information

----------------------------------------------------------------------

Logical device number 1

   Logical device name                      : raid1

   RAID level                               : 1

  Status of logical device                 : Degraded

   Size                                     : 953737 MB

   Write-cache mode                         : Enabled (write-back)

   Partitioned                              : Yes

   Protected by Hot-Spare                   : No

   Number of segments                       : 2

   Drive(s) (Channel,Device)                : 0,2 0,1

 

----------------------------------------------------------------------

Physical Device information

----------------------------------------------------------------------

   Channel #0:

      Transfer Speed                        : SATA 3.0 Gb/s

      Device #1

         Device is a Hard drive

         State                              : Rebuilding

         Supported                          : Yes

         Transfer Speed                     : SATA 3.0 Gb/s

         Reported Channel,Device(T:L)       : 0,1(1:0)

         Vendor                             : ST310003

         Model                              : 33AS

         Firmware                           : CC1H

         Serial number                      : 9TE26L6Z

         Size                               : 953865 MB

         Write Cache                        : Enabled (write-back)

         FRU                                : none

         S.M.A.R.T.                         : No

         S.M.A.R.T. warnings                : 0

      Device #2

         Device is a Hard drive

         State                              : Online

         Supported                          : Yes

         Transfer Speed                     : SATA 3.0 Gb/s

         Reported Channel,Device(T:L)       : 0,2(2:0)

         Vendor                             : ST310005

         Model                              : 28AS

         Firmware                           : CC34

         Serial number                      : 9VP0HXG2

         Size                               : 953865 MB

         Write Cache                        : Enabled (write-back)

         FRU                                : none

         S.M.A.R.T.                         : No

         S.M.A.R.T. warnings                : 0

현재 한개의 디스크가 Fail이 나서 Rebuilding중이기 때문에 Status는 위에 표시한 바와 같이

 

  Status of logical device                 : Degraded

Degrade로 나옵니다.

 

정상 상태는 Optimal 입니다.

 

 

## 속도테스트 결과 ##

1. 에임즈택서버(일반용)

   - hdparm -t /dev/sda 약 5회정도 실시함

 

     => 결과 : 약 110메가 정도 나왔습니다.

 

 

2. 테스트장비 내장 sata포트(일반용)

 

   - hdparm -t /dev/sda 약 10회정도 실시함

 

     => 결과 : 약 100메가 정도 나왔습니다.

 

 

3. 테스트장비 1220SA 하드레이드(일반용)

 

   - hdparm -t /dev/sda 약 10회정도 실시함

     => 결과 : 약 118메가 정도 나왔습니다.