Model Llama Meta sendiri-host pada NVIDIA Tesla P40 (24 GB VRAM, arsitektur Pascal). Sesuai dengan model 8B pada ketepatan penuh dan model yang lebih besar bila dikuantiti. Pelayan GPU tidak boleh diminta lagi; hubungi kami untuk diberitahu bila ianya boleh.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Arahan contoh pemasangan
Llama ialah keluarga Meta model bahasa besar yang boleh didapatkan secara terbuka. Melaksanakan Llama pada pelayan GPU anda sendiri menyimpan prompt dan data peribadi.
Jalankan model 8B pada 24 GB VRAM. Model 70B tidak sesuai pada kad 24 GB tunggal pada tahap kuantum biasa.
Maklumat dan data anda kekal pada pelayan anda, tanpa panggilan API pihak ketiga.
Guna GGUF dengan llama.cpp atau Ollama, atau berat PyTorch asal.
Sertakan model dengan Ollama atau pelayan llama.cpp untuk titik akhir serasi OpenAI.
LLaMA boleh menggunakan GPU NVIDIA untuk mempercepatkan kerjanya. Pelayan GPU VPS.org tidak tersedia untuk diminta lagi; hubungi kami untuk mengetahui bila ianya tersedia. LLaMA adalah beban kerja GPU-pecepatan umum. Pastikan perisian anda mempunyai sokongan CUDA dan versi pemacu / runtime anda sepadan dengan keperluan beban kerja untuk LLaMA.
Pelayan GPU tidak tersedia untuk diminta lagi. Hari ini anda boleh jalankan LLaMA pada rancangan CPU biasa, di mana ia berfungsi lebih perlahan daripada pada GPU: SSH masuk dan jalankan curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
Keperluan VRAM bagi LLaMA bergantung pada model dan saiz bakul; semak dokumentasi projek untuk nombor semasa.
Harga GPU akan diterbitkan bila pelayan GPU boleh diminta. Hubungi kami jika anda ingin tahu bila ia berlaku.
Ya. Setiap pelayan VPS.org datang dengan akses root penuh, jadi anda boleh jalankan alat lain bersama LLaMA dalam RAM dan storan pelayan.
Setiap pelayan VPS.org datang dengan akses root SSH penuh, jadi anda boleh pasang pemacu, pustaka dan LLaMA apa yang anda perlukan.
Tidak. Tiada pelayan datang dengan masa jalan CUDA atau pemacu NVIDIA pra-dipasang, dan pelayan GPU tidak tersedia untuk diminta lagi. Anda pasang versi LLaMA yang diperlukan sendiri.
Ya. Pelayan VPS.org adalah mesin maya kekal, bukan instans sementara: model LLaMA, konfigurasi dan data kekal pada storan SSD pelayan sehingga anda memadamnya.
Kekalkan data kerja pada SSD pelayan untuk akses pantas semasa LLaMA berjalan, dan salin artefak selesai (berat, generasi, penempatan) ke storan luar VPS.org; snapshot dan sandaran kekal pada cluster storan yang sama.
Anda boleh menaik taraf mana-mana pelayan VPS.org ke rancangan yang lebih besar dari panel kawalan; saiz semula memulakannya semula dan pemasangan LLaMA anda membawanya. Pelayan GPU tidak tersedia lagi.
Ya. Sandaran adalah tambahan berbayar (sehari +30% daripada harga rancangan, disimpan 7 hari; mingguan +20%, disimpan 28 hari) dan snapshot adalah percuma, yang berguna sebelum LLaMA berjalan lama. Kedua-duanya tinggal pada cluster storan yang sama dengan pelayan.
Hubungi sokongan dalam masa 30 hari dari pembelian pertama anda untuk meminta bayaran balik. Pelayan GPU belum dijual lagi, jadi tiada pesanan GPU terlibat.
Kapasiti GPU terhad. Beritahu kami tentang beban kerja anda dan kami akan menjawab dengan ketersediaan dan harga.