Model Llama Meta-Host Self-host di NVIDIA Tesla P40 (24 GB VRAM, Pascal arsitektur). Cocok dengan model 8B dengan presisi penuh dan model yang lebih besar ketika diukur. Server GPU belum dapat dipesan; hubungi kami untuk diberitahu ketika mereka berada.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Contohkan perintah instal
Llama adalah keluarga Meta yang tersedia secara terbuka model bahasa besar. Menjalankan Llama dengan server GPU Anda sendiri menyimpan prompt dan data private.
Menjalankan model 8B pada 24 GB dari model VRAM 70B tidak cocok pada satu 24 kartu GB pada tingkat kuantasi umum.
Prompt dan data tetap di server Anda, tanpa panggilan API pihak ketiga.
Gunakan GGUF dengan llama.cpp atau Ollama, atau berat asli PyTorch.
Sajikan model dengan Ollama atau llama.cpp server untuk sebuah titik akhir yang kompatibel OpenAI.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
Server GPU belum tersedia untuk memesan. Hari ini Anda dapat menjalankan LLaMA pada suatu rencana CPU reguler, dimana server tersebut bekerja jauh lebih lambat daripada pada GPU: SSH masuk dan jalankan curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
VRAM membutuhkan LLaMA bergantung pada model dan ukuran batch; periksa dokumentasi projek bagi angka-angka saat ini.
Harga GPU akan diterbitkan ketika server GPU dapat dipesan. Hubungi kami jika Anda ingin mendengar ketika itu terjadi.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside LLaMA within the server's RAM and storage.
Setiap server VPS.org dilengkapi dengan akses SSH root penuh, sehingga Anda dapat menginstal driver, perpustakaan, dan LLaMA namun Anda butuhkan.
Tidak. Tidak ada server yang dilengkapi dengan waktu-jalan CUDA atau driver NVIDIA yang telah diinstal, dan server GPU belum tersedia untuk memesan. Anda memasang versi LLaMA kebutuhan diri sendiri.
Ya. server VPS.org adalah mesin virtual yang persisten, bukan contoh ephemeral: LLaMA model, konfigurasi dan data tetap di penyimpanan SSD server sampai Anda menghapusnya.
Tetap bekerja data pada SSD server untuk akses cepat selama perjalanan LLaMA, dan salin artefak selesai (berat, generasi, embeddings) ke penyimpanan di luar VPS.org; snapshots dan backups tetap pada cluster penyimpanan yang sama.
Anda dapat meningkatkan server VPS.org ke sebuah rencana yang lebih besar dari panel kontrol; resize restart dan instalasi LLaMA Anda membawa over. Server GPU belum tersedia.
Ya. backup adalah tambahan-on dibayar (hari demi ditambah 30% dari harga rencana, terus 7 hari; mingguan +20%, disimpan 28 hari) dan foto gratis, yang berguna sebelum lari LLaMA panjang. Keduanya tetap pada penyimpanan yang sama cluster sebagai server.
Dukungan kontak dalam 30 hari dari pembelian pertama Anda untuk meminta pengembalian dana. Server GPU belum terjual, jadi tidak ada perintah GPU yang terlibat.
Kapasitas GPU terbatas. ceritakan tentang beban kerja Anda dan kami akan menjawab dengan ketersediaan dan harga.