Llama, Mistral ve Gemma gibi açık kaynak LLM' lerin Ollama ile çalışması için NVIDIA Tesla P40 (24 GB VRAM, Pascal mimari) ile GPU sunucularını hazırlamaktayız. GPU sunucuları henüz sipariş edilemiyor; sipariş edildiği zaman haber almak için bizimle iletişime geçin.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Örnek yükleme komutu
Ollama, kendi makinenizde büyük dil modellerini çalıştırmak için hafif bir araçtır. Bir GPU sunucusunda model CPU yerine GPU üzerinde çalışır, bu da cevapları çok daha hızlı yapar.
Llama, Mistral, Gemma, Phi, Qwen ve bir çok diğer modeli tek bir komut ile çekin.
7B'den 13B'ye modelleri rahatça ve kuantumlandığında 30B modelleri etrafında uyumludur. 70B modelleri ortak kuantumlama seviyelerinde bir 24 GB kart üzerinde uyumlu değildir.
İstemler ve veriler sunucunuzda kalır, üçüncü taraf API çağrısı yapılmaz.
Ollama, birçok mevcut müşterinin kullanabileceği bir OpenAI uyumlu son noktayı ortaya çıkarır.
Ollama çalışmasını hızlandırmak için NVIDIA GPU kullanabilir. VPS.org GPU sunucuları henüz sipariş edilemiyor; ne zaman yapılacağını öğrenmek için bizimle iletişime geçin. Ollama öncelikle bir LLM-inference / chat workload'tır. Diskten belleğe hızlı rastgele erişim okumaları ve model ve bağlam penceresi için yeterli VRAM'ı isteyeceksiniz.
GPU sunucuları henüz sipariş için mevcut değil. Bugün Ollama'ü normal CPU planında çalıştırabilirsiniz, burada GPU'dan çok daha yavaş çalışır: SSH girişi ve curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3'ü çalıştırın.
LLM çıkarımı VRAM model parametreleriyle ölçer: bir 7B modeli yaklaşık 5 ila 8 GB VRAM ve bir 13B modeli yaklaşık 10 ila 14 GB, 70B sınıfı modelleri ise birkaç GPU veya ağır kuantumlamaya ihtiyaç duyar.
GPU fiyatlandırması GPU sunucuları sipariş edilebileceği zaman yayınlanacak. Bu ne zaman olursa olsun öğrenmek istiyorsanız bizimle iletişime geçin.
Evet, her VPS.org sunucusu tam root erişimi ile geliyor, böylece Ollama'un yanında diğer araçları da sunucu RAM ve depolama alanı içinde çalıştırabilirsiniz.
Her VPS.org sunucusu tam root SSH erişimi ile gelir, böylece sürücüleri, kütüphaneleri ve Ollama'yi ihtiyacınız olduğu gibi yükleyebilirsiniz.
Hayır. Hiçbir sunucu CUDA çalışma zamanı veya NVIDIA sürücüsüyle birlikte gelmez ve GPU sunucuları henüz sipariş edilemez. Ollama' in ihtiyacı olan sürümleri kendin yüklersin.
Evet. VPS.org sunucuları geçici örnekler değil, kalıcı sanal makinelerdir: Ollama modelleri, konfigürasyonları ve verileri sildiğinize kadar sunucunun SSD depolamasında kalır.
Ollama çalışmaları sırasında hızlı erişim için sunucunun SSD üzerinde çalışan verileri tutun ve bitmiş artefaktları (ağırlıklar, jenerasyonlar, entegreler) VPS.org dışındaki depolamaya kopyalayın; snapshot ve yedekleme aynı depolama kümesinde kalır.
Kontrol panelinden herhangi bir VPS.org sunucusunu daha büyük bir plana yükseltebilirsiniz; yeniden boyutlandırma onu yeniden başlatır ve Ollama kurulumunuzu taşır. GPU sunucuları henüz mevcut değil.
Evet. Yedekleme ücretli bir eklentidir (günlük plan fiyatının %30'u, 7 gün saklanır; haftalık %20'si, 28 gün saklanır) ve görüntüler ücretsizdir, bu da uzun Ollama çalışmalarından önce yararlı olur. Her ikisi de sunucu ile aynı depolama kümesinde kalır.
Geri ödeme istemek için ilk satın almanızdan sonraki 30 gün içinde destekle iletişime geçin. GPU sunucuları henüz satılmamıştır, bu yüzden GPU siparişi söz konusu değildir.
GPU kapasitesi sınırlıdır. Bize çalışma yükünüz hakkında bilgi verin ve size mevcut kapasite ve fiyat ile cevap vereceğiz.