NVIDIA Tesla P40(24GB VRAM, Pascal 아키텍처)에서 Meta의 Llama 모델을 셀프 호스팅합니다. 완전 정밀도의 8B 모델과 양자화된 경우 큰 모델에 적합합니다. GPU 서버는 아직 주문할 수 없습니다. 주문할 수 있을 때 알려드리기 위해 저희에게 연락하십시오.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# 설치 명령 예
Llama는 메타의 공개적으로 사용 가능한 대규모 언어 모델의 집합입니다. Llama를 GPU 서버에서 실행하면 프롬프트와 데이터가 비공개로 유지됩니다.
8B 모델은 24GB VRAM에서 실행되며, 70B 모델은 일반적인 퀀타이즈 레벨에서 단일 24GB 카드에 들어가지 않습니다.
프롬프트와 데이터는 타사 API 호출 없이 서버에 남아 있습니다.
llama.cpp 또는 Ollama 또는 네이티브 PyTorch 가중치와 함께 GGUF를 사용합니다.
Ollama 또는 OpenAI 호환 엔드포인트를 위한 llama.cpp 서버를 사용하여 모델을 제공합니다.
LLaMA는 NVIDIA GPU를 사용하여 작업 속도를 높일 수 있습니다. VPS.org GPU 서버는 아직 주문할 수 없습니다. 주문할 때 문의하십시오. LLaMA는 일반 GPU 가속 워크로드입니다. 소프트웨어가 CUDA 지원을 제공하고 드라이버/런타임 버전이 LLaMA의 워크로드 요구 사항과 일치하는지 확인하십시오.
GPU servers are not available to order yet. Today you can run LLaMA on a regular CPU plan, where it works far more slowly than on a GPU: SSH in and run curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLaMA의 VRAM 요구 사항은 모델 및 배치 크기에 따라 다릅니다. 현재 숫자는 프로젝트 문서를 참조하십시오.
GPU 서버를 주문할 수 있을 때 GPU 가격이 공개됩니다. 이에 대한 정보를 원하시면 Dell에 문의하십시오.
모든 VPS.org 서버는 풀 루트 액세스가 제공되므로 서버의 RAM 및 스토리지 내에서 LLaMA와 함께 다른 도구를 실행할 수 있습니다.
모든 VPS.org 서버는 전체 루트 SSH 액세스와 함께 제공되므로 드라이버, 라이브러리 및 LLaMA를 필요에 따라 설치할 수 있습니다.
아니요. 서버는 CUDA 런타임 또는 NVIDIA 드라이버가 사전 설치되어 있지 않으며 GPU 서버는 아직 주문할 수 없습니다. LLaMA가 필요로하는 버전을 직접 설치하십시오.
VPS.org 서버는 순간적인 인스턴스가 아닌 영구적인 가상 머신입니다. LLaMA 모델, 구성 및 데이터는 삭제할 때까지 서버의 SSD 스토리지에 남아 있습니다.
LLaMA 실행 중에 신속한 액세스를 위해 서버 SSD에 작업 데이터를 유지하고 완료된 아티팩트(중량, 생성, 임베디드)를 VPS.org 외부 스토리지로 복사합니다. 스냅샷과 백업은 동일한 스토리지 클러스터에 남아 있습니다.
제어판에서 VPS.org 서버를 더 큰 플랜으로 업그레이드할 수 있습니다. 크기 조정이 완료되면 LLaMA 설치가 재시작되고 이전됩니다. GPU 서버는 아직 사용할 수 없습니다.
백업은 유료 추가 기능입니다 (일일 +30% 계획 가격, 유지 7 일; 주간 +20%, 유지 28 일) 스냅샷은 무료입니다, 긴 LLaMA 실행 전에 유용한. 둘 다 서버와 동일한 스토리지 클러스터에 남아.
환불을 요청하려면 첫 구매 후 30일 이내에 지원팀에 문의하십시오. GPU 서버는 아직 판매되지 않았으므로 GPU 주문이 포함되지 않습니다.