NVIDIA Tesla P40 (24 GB VRAM, Pascal mimari)'dan AI modellerine hizmet ver: LLM'ler, görüntü modelleri ve diğer tahminler. GPU sunucuları henüz sipariş edilemiyor; sipariş edildiğinde haberdar olmak için bizimle iletişime geçin.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Örnek yükleme komutu
AI çıkarım tahminler üretmek için eğitimli modelleri çalıştırmak demektir. Bir GPU çıkarım sunucusu bir modeli GPU üzerinde yüklü tutar ve bir CPU'dan çok daha hızlı olarak taleplere yanıt verir.
GPU yalnızca sunucuya geçer, bu yüzden gecikme diğer müşterilerin GPU işleri tarafından etkilenmez.
Ollama, llama.cpp, Triton veya kendi API'nizi kullanın. vLLM gibi bazı çerçeveler Pascal P40'tan daha yeni GPU'lara ihtiyaç duyar.
Bir GPU yeterli değilse kendi yük dengeleyicinizin arkasında birkaç sunucu çalıştırın.
Orta büyüklükte bir model veya birkaç küçük model servis edin.
AI Inference çalışmasını hızlandırmak için NVIDIA GPU kullanabilir. VPS.org GPU sunucuları henüz sipariş edilemiyor; ne zaman yapılacağını öğrenmek için bizimle iletişime geçin. AI Inference genel GPU hızlandırılmış bir iş yüküdür. Yazılımınızın CUDA desteğine sahip olduğundan ve sürücü/ çalışma zaman sürümlerinizin AI Inference için iş yük gereksinimlerine uygun olduğundan emin olun.
GPU sunucuları henüz sipariş için mevcut değil. Bugün AI Inference'ü normal CPU planında çalıştırabilirsiniz, burada GPU'dan çok daha yavaş çalışır: SSH girişi ve pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct'ü çalıştırın.
AI Inference için VRAM ihtiyaçları model ve parti büyüklüğüne bağlıdır; mevcut rakamlar için proje belgelerini kontrol edin.
GPU fiyatlandırması GPU sunucuları sipariş edilebileceği zaman yayınlanacak. Bu ne zaman olursa olsun öğrenmek istiyorsanız bizimle iletişime geçin.
Evet, her VPS.org sunucusu tam root erişimi ile geliyor, böylece AI Inference'un yanında diğer araçları da sunucu RAM ve depolama alanı içinde çalıştırabilirsiniz.
Her VPS.org sunucusu tam root SSH erişimi ile gelir, böylece sürücüleri, kütüphaneleri ve AI Inference'yi ihtiyacınız olduğu gibi yükleyebilirsiniz.
Hayır. Hiçbir sunucu CUDA çalışma zamanı veya NVIDIA sürücüsüyle birlikte gelmez ve GPU sunucuları henüz sipariş edilemez. AI Inference' in ihtiyacı olan sürümleri kendin yüklersin.
Evet. VPS.org sunucuları geçici örnekler değil, kalıcı sanal makinelerdir: AI Inference modelleri, konfigürasyonları ve verileri sildiğinize kadar sunucunun SSD depolamasında kalır.
AI Inference çalışmaları sırasında hızlı erişim için sunucunun SSD üzerinde çalışan verileri tutun ve bitmiş artefaktları (ağırlıklar, jenerasyonlar, entegreler) VPS.org dışındaki depolamaya kopyalayın; snapshot ve yedekleme aynı depolama kümesinde kalır.
Kontrol panelinden herhangi bir VPS.org sunucusunu daha büyük bir plana yükseltebilirsiniz; yeniden boyutlandırma onu yeniden başlatır ve AI Inference kurulumunuzu taşır. GPU sunucuları henüz mevcut değil.
Evet. Yedekleme ücretli bir eklentidir (günlük plan fiyatının %30'u, 7 gün saklanır; haftalık %20'si, 28 gün saklanır) ve görüntüler ücretsizdir, bu da uzun AI Inference çalışmalarından önce yararlı olur. Her ikisi de sunucu ile aynı depolama kümesinde kalır.
Geri ödeme istemek için ilk satın almanızdan sonraki 30 gün içinde destekle iletişime geçin. GPU sunucuları henüz satılmamıştır, bu yüzden GPU siparişi söz konusu değildir.
GPU kapasitesi sınırlıdır. Bize çalışma yükünüz hakkında bilgi verin ve size mevcut kapasite ve fiyat ile cevap vereceğiz.