Sajikan model AI dari NVIDIA Tesla P40 (24 GB VRAM, arsitektur Pascal): LLms, model gambar dan prediksi lainnya. server GPU belum dapat dipesan; hubungi kita untuk diberitahu ketika mereka berada.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Contohkan perintah instal
AI inferensi berarti menjalankan model yang terlatih untuk menghasilkan prediksi. Server inferensi GPU membuat model dimuat di GPU dan jawaban permintaan jauh lebih cepat daripada CPU.
GPU lewat server Anda saja, jadi latensi tidak terpengaruh oleh GPU milik pelanggan lain.
Gunakan Ollama, llama.cpp, Triton atau API Anda sendiri. beberapa kerangka kerja, seperti vLLM, perlu GPU yang lebih baru daripada Pascal P40.
Jalankan beberapa server di belakang penimbangan beban anda sendiri jika satu GPU tidak cukup.
Sajikan satu model ukuran tengah atau beberapa model yang lebih kecil.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
Server GPU belum tersedia untuk memesan. Hari ini Anda dapat menjalankan AI Inference pada suatu rencana CPU reguler, dimana server tersebut bekerja jauh lebih lambat daripada pada GPU: SSH masuk dan jalankan pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct.
VRAM membutuhkan AI Inference bergantung pada model dan ukuran batch; periksa dokumentasi projek bagi angka-angka saat ini.
Harga GPU akan diterbitkan ketika server GPU dapat dipesan. Hubungi kami jika Anda ingin mendengar ketika itu terjadi.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside AI Inference within the server's RAM and storage.
Setiap server VPS.org dilengkapi dengan akses SSH root penuh, sehingga Anda dapat menginstal driver, perpustakaan, dan AI Inference namun Anda butuhkan.
Tidak. Tidak ada server yang dilengkapi dengan waktu-jalan CUDA atau driver NVIDIA yang telah diinstal, dan server GPU belum tersedia untuk memesan. Anda memasang versi AI Inference kebutuhan diri sendiri.
Ya. server VPS.org adalah mesin virtual yang persisten, bukan contoh ephemeral: AI Inference model, konfigurasi dan data tetap di penyimpanan SSD server sampai Anda menghapusnya.
Tetap bekerja data pada SSD server untuk akses cepat selama perjalanan AI Inference, dan salin artefak selesai (berat, generasi, embeddings) ke penyimpanan di luar VPS.org; snapshots dan backups tetap pada cluster penyimpanan yang sama.
Anda dapat meningkatkan server VPS.org ke sebuah rencana yang lebih besar dari panel kontrol; resize restart dan instalasi AI Inference Anda membawa over. Server GPU belum tersedia.
Ya. backup adalah tambahan-on dibayar (hari demi ditambah 30% dari harga rencana, terus 7 hari; mingguan +20%, disimpan 28 hari) dan foto gratis, yang berguna sebelum lari AI Inference panjang. Keduanya tetap pada penyimpanan yang sama cluster sebagai server.
Dukungan kontak dalam 30 hari dari pembelian pertama Anda untuk meminta pengembalian dana. Server GPU belum terjual, jadi tidak ada perintah GPU yang terlibat.
Kapasitas GPU terbatas. ceritakan tentang beban kerja Anda dan kami akan menjawab dengan ketersediaan dan harga.