Kami mempersiapkan server GPU dengan NVIDIA Tesla P40 (24 GB VRAM, arsitektur Pascal) untuk menjalankan LLMs open-source seperti Llama, Mistral dan Gemma dengan server Ollama. GPU belum dapat dipesan; hubungi kami untuk diberitahu ketika mereka siap.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Contohkan perintah instal
Ollama adalah alat ringan untuk menjalankan model bahasa besar pada mesin Anda sendiri. Pada server GPU model berjalan di GPU bukannya CPU, yang membuat respon jauh lebih cepat.
Tarik Llama, Mistral, Gemma, Phi, Qwen dan banyak model lainnya dengan satu perintah.
Cocok dengan model 7B hingga 13B dan sekitar 30B ketika diukur. Model 70B tidak cocok dengan 24 kartu GB pada tingkat kuantasi yang sama.
Konfirmasi dan data tetap berada di server Anda, tanpa panggilan API pihak ketiga.
Ollama mengekspos titik akhir yang kompatibel dengan OpenAI yang dapat digunakan oleh banyak klien yang ada.
Ollama can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. Ollama is primarily an LLM-inference / chat workload. You will want fast random-access reads from disk to memory and enough VRAM for the model plus context window.
Server GPU belum tersedia untuk memesan. Hari ini Anda dapat menjalankan Ollama pada suatu rencana CPU reguler, dimana server tersebut bekerja jauh lebih lambat daripada pada GPU: SSH masuk dan jalankan curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3.
LLM inferensi VRAM skala dengan parameter model: model 7B membutuhkan sekitar 5 sampai 8 GB dari VRAM dan sebuah model 13B kira-kira 10 sampai 14 GB, sementara model kelas 70B membutuhkan beberapa GPU atau kuantasi berat.
Harga GPU akan diterbitkan ketika server GPU dapat dipesan. Hubungi kami jika Anda ingin mendengar ketika itu terjadi.
Yes. Every VPS.org server comes with full root access, so you can run other tools alongside Ollama within the server's RAM and storage.
Setiap server VPS.org dilengkapi dengan akses SSH root penuh, sehingga Anda dapat menginstal driver, perpustakaan, dan Ollama namun Anda butuhkan.
Tidak. Tidak ada server yang dilengkapi dengan waktu-jalan CUDA atau driver NVIDIA yang telah diinstal, dan server GPU belum tersedia untuk memesan. Anda memasang versi Ollama kebutuhan diri sendiri.
Ya. server VPS.org adalah mesin virtual yang persisten, bukan contoh ephemeral: Ollama model, konfigurasi dan data tetap di penyimpanan SSD server sampai Anda menghapusnya.
Tetap bekerja data pada SSD server untuk akses cepat selama perjalanan Ollama, dan salin artefak selesai (berat, generasi, embeddings) ke penyimpanan di luar VPS.org; snapshots dan backups tetap pada cluster penyimpanan yang sama.
Anda dapat meningkatkan server VPS.org ke sebuah rencana yang lebih besar dari panel kontrol; resize restart dan instalasi Ollama Anda membawa over. Server GPU belum tersedia.
Ya. backup adalah tambahan-on dibayar (hari demi ditambah 30% dari harga rencana, terus 7 hari; mingguan +20%, disimpan 28 hari) dan foto gratis, yang berguna sebelum lari Ollama panjang. Keduanya tetap pada penyimpanan yang sama cluster sebagai server.
Dukungan kontak dalam 30 hari dari pembelian pertama Anda untuk meminta pengembalian dana. Server GPU belum terjual, jadi tidak ada perintah GPU yang terlibat.
Kapasitas GPU terbatas. ceritakan tentang beban kerja Anda dan kami akan menjawab dengan ketersediaan dan harga.