VPC 환경에서 이용 가능합니다.
네이버 클라우드 플랫폼 콘솔에서 KVM 기반 GPU 서버를 생성하고 관리하는 방법을 설명합니다.
참고
- 예기치 못한 서버의 장애 또는 예정된 변경 작업 등에 대하여 중단 없이 서비스 연속성을 보장할 수 있도록 서버는 기본적으로 존 간 이중화 구성을 권장합니다. Load Balancer 개요를 참고하여 이중화 설정을 진행해 주십시오.
- 네이버 클라우드 플랫폼에서는 메모리, CPU, 전원 공급 등 물리 서버의 장애에 대비하기 위해 High Availability(HA) 구조를 제공합니다. HA는 하드웨어에서 발생한 장애가 Virtual Machine(VM) 서버로 확대되는 것을 방지하기 위한 정책으로 호스트 서버에 장애가 발생하면 자동으로 호스트 서버 안에 있는 VM 서버를 안정된 다른 호스트 서버로 옮기는 Live Migration을 지원합니다. 하지만 Live Migration을 진행할 수 없는 오류가 발생하면 VM 서버가 재시작됩니다. VM 서버 한 대로 서비스를 운영하면 VM 서버 재시작으로 장애가 발생할 수 있으므로 장애 발생 빈도를 줄이기 위해서는 위 안내와 같이 VM 서버를 다중화하는 것을 권장합니다.
서버 정보 확인
GPU 서버 정보를 확인하는 방법은 일반 서버 정보를 확인하는 방법과 같습니다. 자세한 내용은 서버 정보 확인을 참고해 주십시오.
주의
- GPU 서버는 정지 상태에서도 전체 서버 요금이 과금됩니다.
GPU 서버 생성
GPU 서버는 콘솔의 Services > Compute > Server 메뉴에서 생성할 수 있습니다. 자세한 생성 방법은 서버 생성을 참고해 주십시오.
참고
- GPU 서버는 드라이버 및 관련 소프트웨어가 사전 설치된 NCP GPU 이미지를 사용하실 수 있습니다.
- GPU 타입별 생성 가능한 Region은 아래의 표를 참고해 주시기 바랍니다.
| GPU 타입 | Region |
|---|---|
| NVIDIA L4 | KR-1 |
| NVIDIA L40S | KR-1 |
서버 관리
GPU 서버 관리 및 설정 변경 방법은 일반 서버 관리 및 설정 변경 방법과 같습니다. 자세한 내용은 서버 관리를 참고해 주십시오.
참고
- KVM GPU 서버는 스펙 변경이 불가합니다.
- GPU 서버는 일반 서버로 전환할 수 없습니다. 일반 서버로 변경하려면 서버 이미지를 생성한 후, 서버 이미지를 사용해 일반 서버를 새로 생성해야 합니다.
- 일반 서버로 만들어진 서버 이미지를 사용해 GPU 서버를 생성할 수 있습니다.
GPU 드라이버 설치
아래 두 가지 옵션 중 하나를 선택해 주십시오.
옵션 1. 드라이버가 사전 설치된 NCP GPU 이미지 사용
NVIDIA 드라이버 및 관련 소프트웨어가 사전 설치된 NCP GPU 서버 생성 방법은 다음과 같습니다.
- 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
- Region 메뉴에서 이용 중인 리전을 클릭해 주십시오.
- Platform 메뉴에서 이용 중인 플랫폼을 클릭해 주십시오.
- Services > Compute > Server 메뉴를 차례대로 클릭해 주십시오.
- 서버 이미지가 표시된 탭에서 NCP 서버 이미지 탭을 선택해 주십시오.
- 이미지 타입에서 KVM GPU를 선택해 주십시오.
- 사용하실 서버 이미지 이름을 선택해 주십시오.
옵션 2. NVIDIA 가이드를 사용하여 GPU 드라이버 및 CUDA 설치
참고
- NVIDIA 드라이버 문서
- GPU 타입별 최소 권장 드라이버 버전은 아래 표와 같습니다.
| GPU 타입 | 최소 권장 드라이버 릴리즈 |
|---|---|
| NVIDIA L4 | R535 이상 |
| NVIDIA L40S | R535 이상 |
2.1 GPU Driver 설치
GPU 타입별 최소 권장 드라이버 버전을 확인하신 후 NVIDIA Driver 설치 가이드를 참고하여 설치해 주십시오.
2.2 CUDA Toolkit 설치
CUDA를 설치하는 방법은 다음과 같습니다.
- NVIDIA CUDA Toolkit 웹사이트에 접속해 주십시오.
- 설치하고자 하는 버전의 CUDA Runtime 설치 파일을 선택하여 다운로드 하십시오.
- Installer Type은 runfile (local)을 선택해 주십시오.
- 다음 명령어를 입력해 CUDA Toolkit을 설치해 주십시오.
# chmod +x [다운로드한 설치 파일명] # ./[다운로드한 설치 파일명] --toolkit --toolkitpath=/usr/local/cuda-[버전] --samples --samplespath=/usr/local/cuda --silent
GPU 드라이버 및 필수 소프트웨어 점검
서버의 GPU 드라이버와 필수 소프트웨어를 점검해 주십시오.
드라이버 버전 확인
GPU 드라이버의 버전을 확인하려면 nvidia-smi 명령어를 입력해 주십시오.
- 설치된 드라이버 버전과 GPU 모델 및 수량을 확인할 수 있습니다.
- 아래는 NVIDIA A100 GPU 서버의 예시입니다.
# nvidia-smi
Mon Jun 9 17:23:12 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.124.06 Driver Version: 570.124.06 CUDA Version: 12.8 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA L40S On | 00000000:A1:00.0 Off | 0* |
| N/A 29C P8 22W / 350W | 1MiB / 46068MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+
CUDA Toolkit 버전 확인
CUDA Toolkit 버전을 확인하려면 nvcc --version 명령어를 입력해 주십시오.
# nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Fri_Feb_21_20:23:50_PST_2025
Cuda compilation tools, release 12.8, V12.8.93
Build cuda_12.8.r12.8/compiler.35583870_0