Kami sedang menyediakan pelayan GPU dengan NVIDIA Tesla P40 (24 GB VRAM, arsitektur Pascal) untuk menjalankan LLM sumber terbuka seperti Llama, Mistral dan Gemma dengan Ollama. Pelayan GPU belum boleh diminta; hubungi kami untuk diberitahu bila ianya boleh diminta.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Arahan contoh pemasangan
Ollama adalah alat ringan untuk menjalankan model bahasa besar pada mesin anda sendiri. Pada pelayan GPU model berjalan pada GPU bukannya CPU, yang membuatkan respon lebih pantas.
Tarik Llama, Mistral, Gemma, Phi, Qwen dan banyak model lain dengan satu arahan.
Sesuai dengan model 7B hingga 13B dengan selesa dan sekitar model 30B apabila dikuantiti. Model 70B tidak sesuai pada kad 24 GB pada tahap kuantiti biasa.
Prompt dan data tetap pada pelayan anda, tanpa panggilan API pihak ketiga.
Ollama memaparkan titik akhir OpenAI-sesuai yang banyak klien sedia ada boleh digunakan.
Ollama boleh menggunakan GPU NVIDIA untuk mempercepatkan kerjanya. Pelayan GPU VPS.org tidak tersedia untuk diminta lagi; hubungi kami untuk mendengar bila ianya tersedia. Ollama adalah terutamanya beban kerja LLM-inference / chat. Anda akan mahu bacaan akses rawak pantas dari cakera ke memori dan cukup VRAM untuk model plus tetingkap konteks.
Pelayan GPU tidak tersedia untuk diminta lagi. Hari ini anda boleh jalankan Ollama pada rancangan CPU biasa, di mana ia berfungsi lebih perlahan daripada pada GPU: SSH masuk dan jalankan curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inferensi VRAM skala dengan parameter model: model 7B memerlukan kira-kira 5 hingga 8 GB VRAM dan model 13B memerlukan kira-kira 10 hingga 14 GB, manakala model 70B-kelas memerlukan beberapa GPU atau kuantum berat.
Harga GPU akan diterbitkan bila pelayan GPU boleh diminta. Hubungi kami jika anda ingin tahu bila ia berlaku.
Ya. Setiap pelayan VPS.org datang dengan akses root penuh, jadi anda boleh jalankan alat lain bersama Ollama dalam RAM dan storan pelayan.
Setiap pelayan VPS.org datang dengan akses root SSH penuh, jadi anda boleh pasang pemacu, pustaka dan Ollama apa yang anda perlukan.
Tidak. Tiada pelayan datang dengan masa jalan CUDA atau pemacu NVIDIA pra-dipasang, dan pelayan GPU tidak tersedia untuk diminta lagi. Anda pasang versi Ollama yang diperlukan sendiri.
Ya. Pelayan VPS.org adalah mesin maya kekal, bukan instans sementara: model Ollama, konfigurasi dan data kekal pada storan SSD pelayan sehingga anda memadamnya.
Kekalkan data kerja pada SSD pelayan untuk akses pantas semasa Ollama berjalan, dan salin artefak selesai (berat, generasi, penempatan) ke storan luar VPS.org; snapshot dan sandaran kekal pada cluster storan yang sama.
Anda boleh menaik taraf mana-mana pelayan VPS.org ke rancangan yang lebih besar dari panel kawalan; saiz semula memulakannya semula dan pemasangan Ollama anda membawanya. Pelayan GPU tidak tersedia lagi.
Ya. Sandaran adalah tambahan berbayar (sehari +30% daripada harga rancangan, disimpan 7 hari; mingguan +20%, disimpan 28 hari) dan snapshot adalah percuma, yang berguna sebelum Ollama berjalan lama. Kedua-duanya tinggal pada cluster storan yang sama dengan pelayan.
Hubungi sokongan dalam masa 30 hari dari pembelian pertama anda untuk meminta bayaran balik. Pelayan GPU belum dijual lagi, jadi tiada pesanan GPU terlibat.
Kapasiti GPU terhad. Beritahu kami tentang beban kerja anda dan kami akan menjawab dengan ketersediaan dan harga.