NVIDIA Tesla P40 (24 GB VRAM, Pascal mimari) üzerinde Meta'nın Llama modellerini kendi başına konumlandır. Tam hassasiyette 8B modellerine ve kuantumlaştırıldığında daha büyük modellere uygundur. GPU sunucuları henüz sipariş edilemiyor; sipariş edildiğinde haber vermek için bizimle iletişime geçin.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Örnek yükleme komutu
Llama Meta'nın açıkça erişilebilir büyük dil modellerinin ailesidir. Llama'yı kendi GPU sunucunuzda çalıştırmak, soruları ve verileri gizli tutar.
8B modelleri 24 GB VRAM üzerinde çalışır. 70B modelleri ortak kuantumlama seviyelerinde tek bir 24 GB kart üzerinde oturmuyor.
İstemleriniz ve verileriniz sunucunuzda kalır, üçüncü taraf API çağrısı yapılmaz.
GGUF'u llama.cpp veya Ollama ile kullanın, ya da yerli PyTorch ağırlıkları.
Ollama veya OpenAI uyumlu bir son nokta için llama.cpp sunucusu ile modellere hizmet verin.
LLaMA çalışmasını hızlandırmak için NVIDIA GPU kullanabilir. VPS.org GPU sunucuları henüz sipariş edilemiyor; ne zaman yapılacağını öğrenmek için bizimle iletişime geçin. LLaMA genel GPU hızlandırılmış bir iş yüküdür. Yazılımınızın CUDA desteğine sahip olduğundan ve sürücü/ çalışma zaman sürümlerinizin LLaMA için iş yük gereksinimlerine uygun olduğundan emin olun.
GPU sunucuları henüz sipariş için mevcut değil. Bugün LLaMA'ü normal CPU planında çalıştırabilirsiniz, burada GPU'dan çok daha yavaş çalışır: SSH girişi ve curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3'ü çalıştırın.
LLaMA için VRAM ihtiyaçları model ve parti büyüklüğüne bağlıdır; mevcut rakamlar için proje belgelerini kontrol edin.
GPU fiyatlandırması GPU sunucuları sipariş edilebileceği zaman yayınlanacak. Bu ne zaman olursa olsun öğrenmek istiyorsanız bizimle iletişime geçin.
Evet, her VPS.org sunucusu tam root erişimi ile geliyor, böylece LLaMA'un yanında diğer araçları da sunucu RAM ve depolama alanı içinde çalıştırabilirsiniz.
Her VPS.org sunucusu tam root SSH erişimi ile gelir, böylece sürücüleri, kütüphaneleri ve LLaMA'yi ihtiyacınız olduğu gibi yükleyebilirsiniz.
Hayır. Hiçbir sunucu CUDA çalışma zamanı veya NVIDIA sürücüsüyle birlikte gelmez ve GPU sunucuları henüz sipariş edilemez. LLaMA' in ihtiyacı olan sürümleri kendin yüklersin.
Evet. VPS.org sunucuları geçici örnekler değil, kalıcı sanal makinelerdir: LLaMA modelleri, konfigürasyonları ve verileri sildiğinize kadar sunucunun SSD depolamasında kalır.
LLaMA çalışmaları sırasında hızlı erişim için sunucunun SSD üzerinde çalışan verileri tutun ve bitmiş artefaktları (ağırlıklar, jenerasyonlar, entegreler) VPS.org dışındaki depolamaya kopyalayın; snapshot ve yedekleme aynı depolama kümesinde kalır.
Kontrol panelinden herhangi bir VPS.org sunucusunu daha büyük bir plana yükseltebilirsiniz; yeniden boyutlandırma onu yeniden başlatır ve LLaMA kurulumunuzu taşır. GPU sunucuları henüz mevcut değil.
Evet. Yedekleme ücretli bir eklentidir (günlük plan fiyatının %30'u, 7 gün saklanır; haftalık %20'si, 28 gün saklanır) ve görüntüler ücretsizdir, bu da uzun LLaMA çalışmalarından önce yararlı olur. Her ikisi de sunucu ile aynı depolama kümesinde kalır.
Geri ödeme istemek için ilk satın almanızdan sonraki 30 gün içinde destekle iletişime geçin. GPU sunucuları henüz satılmamıştır, bu yüzden GPU siparişi söz konusu değildir.
GPU kapasitesi sınırlıdır. Bize çalışma yükünüz hakkında bilgi verin ve size mevcut kapasite ve fiyat ile cevap vereceğiz.