4-1. 그래픽 가상화 설치 및 설정 - ESXI(하이퍼바이저) 호스트 드라이버 설치

4-1. 그래픽 가상화 설치 및 설정 - ESXI(하이퍼바이저) 호스트 드라이버 설치

1. 그래픽 카드 확인

- ESXI(하이퍼바이저) 호스트 콘솔에 접속해서 아래처럼 조회 하면 자신의 그래픽 카드 모델이 나온다

[root@localhost] lspci | grep VGA

0000:11:00.0 VGA compatible controller: NVIDIA Corporation GK104GL [GRID K2]
0000:12:00.0 VGA compatible controller: NVIDIA Corporation GK104GL [GRID K2]
 

2. ESXI(하이퍼바이저) 호스트 드라이버 다운로드

- ESXI 6.7 이전 버전 다운로드(일반용) : https://www.nvidia.co.kr/Download/index.aspx?lang=kr

• 대상 그래픽 카드 : GRID K1, GRID K2
• ESXI 6.5드라이버로 ESXI 6.7 까지는 설치가 가능하다

- ESXI 7.0 이상 버전 다운로드(기업용) : https://nvid.nvidia.com

[호환성 보기] - https://www.vmware.com/resources/compatibility/search.php

[ GPU Device Model ]

[ 기업용 드라이버 ]

• 대상 그래픽 카드 : Data Center, Tesla
• 별도의 엔터프라이즈 계정이 필요하다( 그래픽카드/소프트웨어 구매)

3. ESXI(하이퍼바이저) 호스트 드라이버 설치

[ 드라이버 설치]

ESXI에 드라이버 업로드 후 콘솔에서 esxcli로 설치 진행

esxi software vib install -v [vib 업로드 위치]

[root@localhost] esxcli software vib install --no-sig-check -v /vmfs/volumes/datastore1/DATA/NVIDIA-vGPU-kepler-VMware_ESXi_6.5_Host_Driver_367.134-1OEM.650.0.0.4598673.vib
   Message: Operation finished successfully.
   Reboot Required: false
   VIBs Installed: NVIDIA-vGPU-kepler-VMware_ESXi_6.5_Host_Driver_367.134-1OEM.650.0.0.4598673
   VIBs Removed:
   VIBs Skipped:

[ 그래픽카드 모니터링 ]

4. ESXI(하이퍼바이저) 호스트 드라이버 설치( 세부 설치 과정 정리 )

1. 드라이버 구성 : NVIDIA-vGPU-kepler-vSphere-6.5-367.134-370.41.zip

• 메뉴얼 : 367.134-370.41-grid-vgpu-release-notes-vmware-vsphere.pdf
• 메뉴얼 : 367.134-370.41-grid-vgpu-user-guide.pdf
• Win게스트 드라이버 : 370.41_grid_win7_win8_32bit_international.exe
• Win게스트 드라이버 : 370.41_grid_win7_win8_server2008R2_server2012R2_64bit_international.exe
• Win게스트 드라이버 : 370.41_grid_win10_32bit_international.exe
• Win게스트 드라이버 : 370.41_grid_win10_server2016_64bit_international.exe
• ESXI 호스트 드라이버 : NVIDIA-vGPU-kepler-VMware_ESXi_6.5_Host_Driver_367.134-1OEM.650.0.0.4598673.vib
• ESXI 호스트 드라이버 : NVIDIA-vGPU-kepler-VMware_ESXi_6.5_Host_Driver_367.134-1OEM.650.0.0.4598673-offline_bundle.zip

2. 드라이버 상세설치 과정

[1]. ESXI(하이퍼바이저) 호스트 - SSH 시작

[2]. ESXI(하이퍼바이저) 호스트 - vib 드라이버 업로드

 - NVIDIA-vGPU-kepler-vSphere-6.5-367.134-370.41.zip - 압축 해제

 - NVIDIA-vGPU-kepler-VMware_ESXi_6.5_Host_Driver_367.134-1OEM.650.0.0.4598673.vib - 업로드

[3]. ESXI(하이퍼바이저) 호스트 - 유지 보수 모드로 호스트 전환(시작)

[root@localhost] esxcli system maintenanceMode set --enable true

[4]. ESXI(하이퍼바이저) 호스트 - xorg 서비스 중지

[root@localhost] /etc/init.d/xorg stop

[5]. ESXI(하이퍼바이저) 호스트 - 드라이버 설치

 - esxcli software vib install --no-sig-check -v /<path-to-vib>/<NVIDIA-VIB-name>.vib

- 오류 무시 옵션 : --no-sig-check

- vib파일 옵션   : -v

- 디랙토리 옵션 : -d  

[root@localhost] esxcli software vib install --no-sig-check -v /vmfs/volumes/datastore1/DATA/NVIDIA-vGPU-kepler-VMware_ESXi_6.5_Host_Driver_367.134-1OEM.650.0.0.4598673.vib

[6]. ESXI(하이퍼바이저) 호스트 - 재부팅

[root@localhost] reboot

[7]. ESXI(하이퍼바이저) 호스트 - xorg 서비스 시작(드라이버가 정상으로 설치되면 자동 시작됨)

[root@localhost] /etc/init.d/xorg start

[8]. ESXI(하이퍼바이저) 호스트 - 유지 보수 모드로 호스트 전환(종료)

[root@localhost] esxcli system maintenanceMode set --enable false

[9]. ESXI(하이퍼바이저) 호스트 - SSH 종료

3. 모니터링 / 설치 확인 / 오류 디버깅

[1]. ESXI(하이퍼바이저) 호스트 - 그래픽 모니터링

nvidia smi 모니터링

[root@localhost:~] nvidia-smi vgpu -q -i 1     # To limit the information retrieved to a subset of the GPUs on the platform
[root@localhost:~] nvidia-smi vgpu -u          # To limit monitoring to a subset of the GPUs on the platform
[root@localhost:~] nvidia-smi vgpu -s -i 0     # To limit the retrieved information to a subset of the GPUs on the platform
[root@localhost:~] nvidia-smi vgpu -s -i 0 -v  # vGPU types,
[root@localhost:~] nvidia-smi vgpu -c -i 0     # 가상 vGpu 조회(To limit the retrieved information to a subset of the GPUs on the platform)
[root@localhost:~] nvidia-smi -L               # UUID List

nvidia smi 모니터링(연속)

[root@localhost:~] watch -n 1  nvidia-smi  #1초  단위
[root@localhost:~] watch -n 5  nvidia-smi  #5초  단위
[root@localhost:~] watch -n 10 nvidia-smi  #10초 단위

[2]. ESXI(하이퍼바이저) 호스트 - 설치 확인 및 오류 디버깅

- vib 드라이버 리스트 조회

[root@localhost:~] esxcli software vib list

- 그래픽카드 드라이버(AMD) 

[root@localhost:~] esxcli software vib list | grep fglrx

- 그래픽카드 드라이버(NVIDIA) 

[root@localhost:~] esxcli software vib list | grep NVIDIA

- 드라이버 설치 확인 및 디버깅 (VM 게스트 OR ESXI 호스트)

[root@localhost:~] dmesg                          # 부팅에러 메시지 출력
[root@localhost:~] dmesg | egrep -i 'nvidia|nvrm' # 부팅에러 메시지 출력
[root@localhost:~] gpuvm                          # VGPU정보
[root@localhost:~] lspci | grep -i vga            # PCIe 디바이스 정보