AI 추론은 예측을 생성하기 위해 훈련된 모델을 실행하는 것을 의미합니다. GPU 추론 서버는 GPU에 모델을 로드하고 CPU보다 훨씬 빠르게 요청에 응답합니다.
GPU는 서버에만 전달되므로 지연 시간은 다른 고객의 GPU 작업에 영향을 받지 않습니다.
Ollama, llama.cpp, Triton 또는 사용자 API를 사용합니다. vLLM과 같은 일부 프레임워크는 Pascal P40보다 더 새로운 GPU가 필요합니다.
하나의 GPU로는 충분하지 않을 경우 자체 부하 분산기 뒤에서 여러 서버를 실행합니다.
중간 크기의 모델 하나 또는 여러 개의 작은 모델을 제공합니다.
AI Inference는 NVIDIA GPU를 사용하여 작업 속도를 높일 수 있습니다. VPS.org GPU 서버는 아직 주문할 수 없습니다. 주문할 때 문의하십시오. AI Inference는 일반 GPU 가속 워크로드입니다. 소프트웨어가 CUDA 지원을 제공하고 드라이버/런타임 버전이 AI Inference의 워크로드 요구 사항과 일치하는지 확인하십시오.
GPU servers are not available to order yet. Today you can run AI Inference on a regular CPU plan, where it works far more slowly than on a GPU: SSH in and run pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
AI Inference의 VRAM 요구 사항은 모델 및 배치 크기에 따라 다릅니다. 현재 숫자는 프로젝트 문서를 참조하십시오.
GPU 서버를 주문할 수 있을 때 GPU 가격이 공개됩니다. 이에 대한 정보를 원하시면 Dell에 문의하십시오.
모든 VPS.org 서버는 풀 루트 액세스가 제공되므로 서버의 RAM 및 스토리지 내에서 AI Inference와 함께 다른 도구를 실행할 수 있습니다.
모든 VPS.org 서버는 전체 루트 SSH 액세스와 함께 제공되므로 드라이버, 라이브러리 및 AI Inference를 필요에 따라 설치할 수 있습니다.
아니요. 서버는 CUDA 런타임 또는 NVIDIA 드라이버가 사전 설치되어 있지 않으며 GPU 서버는 아직 주문할 수 없습니다. AI Inference가 필요로하는 버전을 직접 설치하십시오.
VPS.org 서버는 순간적인 인스턴스가 아닌 영구적인 가상 머신입니다. AI Inference 모델, 구성 및 데이터는 삭제할 때까지 서버의 SSD 스토리지에 남아 있습니다.
AI Inference 실행 중에 신속한 액세스를 위해 서버 SSD에 작업 데이터를 유지하고 완료된 아티팩트(중량, 생성, 임베디드)를 VPS.org 외부 스토리지로 복사합니다. 스냅샷과 백업은 동일한 스토리지 클러스터에 남아 있습니다.
제어판에서 VPS.org 서버를 더 큰 플랜으로 업그레이드할 수 있습니다. 크기 조정이 완료되면 AI Inference 설치가 재시작되고 이전됩니다. GPU 서버는 아직 사용할 수 없습니다.
백업은 유료 추가 기능입니다 (일일 +30% 계획 가격, 유지 7 일; 주간 +20%, 유지 28 일) 스냅샷은 무료입니다, 긴 AI Inference 실행 전에 유용한. 둘 다 서버와 동일한 스토리지 클러스터에 남아.
환불을 요청하려면 첫 구매 후 30일 이내에 지원팀에 문의하십시오. GPU 서버는 아직 판매되지 않았으므로 GPU 주문이 포함되지 않습니다.