NVIDIA Tesla P40(24GB VRAM, Pascal 아키텍처)을 탑재한 GPU 서버를 준비하고 있으며, 이를 통해 Llama, Mistral, Gemma와 Ollama와 같은 오픈 소스 LLM을 실행할 수 있습니다. GPU 서버는 아직 주문할 수 없습니다. 주문할 수 있을 때 알려드리기 위해 문의하십시오.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# 설치 명령 예
Ollama는 컴퓨터에서 대규모 언어 모델을 실행하는 가벼운 도구입니다. GPU 서버에서 모델은 CPU 대신 GPU에서 실행되므로 응답이 훨씬 빠릅니다.
라마, 미스트랄, 젬마, 피, Qwen 및 다른 많은 모델을 한 명령으로 끌어 올립니다.
7B에서 13B 모델까지 편안하게 맞추고 양자화 시 30B 모델 주위에 맞춥니다. 70B 모델은 일반적인 양자화 수준에서 하나의 24GB 카드에 맞지 않습니다.
프롬프트와 데이터는 타사 API 호출 없이 서버에 남아 있습니다.
Ollama는 많은 기존 클라이언트가 사용할 수 있는 OpenAI 호환 엔드포인트를 노출합니다.
Ollama는 NVIDIA GPU를 사용하여 작업 속도를 높일 수 있습니다. VPS.org GPU 서버는 아직 주문할 수 없습니다. 주문할 때는 저희에게 연락하십시오. Ollama는 주로 LLM 추론/채팅 워크로드입니다. 디스크에서 메모리로 빠른 랜덤 액세스 읽기와 모델과 컨텍스트 창을 위한 충분한 VRAM이 필요합니다.
GPU servers are not available to order yet. Today you can run Ollama on a regular CPU plan, where it works far more slowly than on a GPU: SSH in and run curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM 추론 VRAM은 모델 파라미터에 따라 확장된다: 7B 모델은 약 5~8GB의 VRAM이 필요하고 13B 모델은 약 10~14GB이 필요하며, 70B 클래스 모델은 여러 GPU 또는 높은 양자화가 필요하다.
GPU 서버를 주문할 수 있을 때 GPU 가격이 공개됩니다. 이에 대한 정보를 원하시면 Dell에 문의하십시오.
모든 VPS.org 서버는 풀 루트 액세스가 제공되므로 서버의 RAM 및 스토리지 내에서 Ollama와 함께 다른 도구를 실행할 수 있습니다.
모든 VPS.org 서버는 전체 루트 SSH 액세스와 함께 제공되므로 드라이버, 라이브러리 및 Ollama를 필요에 따라 설치할 수 있습니다.
아니요. 서버는 CUDA 런타임 또는 NVIDIA 드라이버가 사전 설치되어 있지 않으며 GPU 서버는 아직 주문할 수 없습니다. Ollama가 필요로하는 버전을 직접 설치하십시오.
VPS.org 서버는 순간적인 인스턴스가 아닌 영구적인 가상 머신입니다. Ollama 모델, 구성 및 데이터는 삭제할 때까지 서버의 SSD 스토리지에 남아 있습니다.
Ollama 실행 중에 신속한 액세스를 위해 서버 SSD에 작업 데이터를 유지하고 완료된 아티팩트(중량, 생성, 임베디드)를 VPS.org 외부 스토리지로 복사합니다. 스냅샷과 백업은 동일한 스토리지 클러스터에 남아 있습니다.
제어판에서 VPS.org 서버를 더 큰 플랜으로 업그레이드할 수 있습니다. 크기 조정이 완료되면 Ollama 설치가 재시작되고 이전됩니다. GPU 서버는 아직 사용할 수 없습니다.
백업은 유료 추가 기능입니다 (일일 +30% 계획 가격, 유지 7 일; 주간 +20%, 유지 28 일) 스냅샷은 무료입니다, 긴 Ollama 실행 전에 유용한. 둘 다 서버와 동일한 스토리지 클러스터에 남아.
환불을 요청하려면 첫 구매 후 30일 이내에 지원팀에 문의하십시오. GPU 서버는 아직 판매되지 않았으므로 GPU 주문이 포함되지 않습니다.