Sertakan model AI dari NVIDIA Tesla P40 (24 GB VRAM, arsitektur Pascal): LLMs, model imej dan ramalan lain. Pelayan GPU tidak boleh diminta lagi; hubungi kami untuk diberitahu bila ianya boleh.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Arahan contoh pemasangan
Kesimpulan AI bermakna menjalankan model terlatih untuk menghasilkan ramalan. Pelayan kesimpulan GPU menyimpan model dimuatkan pada GPU dan menjawab permintaan lebih cepat daripada CPU.
GPU disalurkan melalui pelayan anda sahaja, jadi latensi tidak dipengaruhi oleh kerja GPU pelanggan lain.
Guna Ollama, llama.cpp, Triton atau API anda sendiri. Beberapa kerangka kerja, seperti vLLM, memerlukan GPU yang lebih baru daripada Pascal P40.
Jalankan beberapa pelayan di belakang penyelarasan beban anda sendiri jika satu GPU tidak mencukupi.
Sertakan satu model bersaiz sederhana atau beberapa yang lebih kecil.
AI Inference boleh menggunakan GPU NVIDIA untuk mempercepatkan kerjanya. Pelayan GPU VPS.org tidak tersedia untuk diminta lagi; hubungi kami untuk mengetahui bila ianya tersedia. AI Inference adalah beban kerja GPU-pecepatan umum. Pastikan perisian anda mempunyai sokongan CUDA dan versi pemacu / runtime anda sepadan dengan keperluan beban kerja untuk AI Inference.
Pelayan GPU tidak tersedia untuk diminta lagi. Hari ini anda boleh jalankan AI Inference pada rancangan CPU biasa, di mana ia berfungsi lebih perlahan daripada pada GPU: SSH masuk dan jalankan pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
Keperluan VRAM bagi AI Inference bergantung pada model dan saiz bakul; semak dokumentasi projek untuk nombor semasa.
Harga GPU akan diterbitkan bila pelayan GPU boleh diminta. Hubungi kami jika anda ingin tahu bila ia berlaku.
Ya. Setiap pelayan VPS.org datang dengan akses root penuh, jadi anda boleh jalankan alat lain bersama AI Inference dalam RAM dan storan pelayan.
Setiap pelayan VPS.org datang dengan akses root SSH penuh, jadi anda boleh pasang pemacu, pustaka dan AI Inference apa yang anda perlukan.
Tidak. Tiada pelayan datang dengan masa jalan CUDA atau pemacu NVIDIA pra-dipasang, dan pelayan GPU tidak tersedia untuk diminta lagi. Anda pasang versi AI Inference yang diperlukan sendiri.
Ya. Pelayan VPS.org adalah mesin maya kekal, bukan instans sementara: model AI Inference, konfigurasi dan data kekal pada storan SSD pelayan sehingga anda memadamnya.
Kekalkan data kerja pada SSD pelayan untuk akses pantas semasa AI Inference berjalan, dan salin artefak selesai (berat, generasi, penempatan) ke storan luar VPS.org; snapshot dan sandaran kekal pada cluster storan yang sama.
Anda boleh menaik taraf mana-mana pelayan VPS.org ke rancangan yang lebih besar dari panel kawalan; saiz semula memulakannya semula dan pemasangan AI Inference anda membawanya. Pelayan GPU tidak tersedia lagi.
Ya. Sandaran adalah tambahan berbayar (sehari +30% daripada harga rancangan, disimpan 7 hari; mingguan +20%, disimpan 28 hari) dan snapshot adalah percuma, yang berguna sebelum AI Inference berjalan lama. Kedua-duanya tinggal pada cluster storan yang sama dengan pelayan.
Hubungi sokongan dalam masa 30 hari dari pembelian pertama anda untuk meminta bayaran balik. Pelayan GPU belum dijual lagi, jadi tiada pesanan GPU terlibat.
Kapasiti GPU terhad. Beritahu kami tentang beban kerja anda dan kami akan menjawab dengan ketersediaan dan harga.