Palvele tekoälymalleja NVIDIA Tesla P40:stä (24 GB VRAM, Pascal-arkkitehtuuri): LLM-malleja, kuvamalleja ja muita ennusteita. GPU-palvelimia ei vielä voi tilata; ota yhteyttä, jotta saat niistä ilmoituksen.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# Esimerkkiasennuskomento
AI-ajatus tarkoittaa koulutettujen mallien ajamista ennusteiden tuottamiseksi. GPU-päättelypalvelin pitää mallin ladattuna GPU:n päälle ja vastaa pyyntöihin paljon nopeammin kuin suorittin.
GPU siirtyy palvelimelle yksin, joten muiden asiakkaiden GPU-työt eivät vaikuta latenssiin.
Käytä Ollamaa, lama.cppia, Tritonia tai omaa API:tä. Jotkut puitteet, kuten vLLM, tarvitsevat uudempia GPU:ita kuin Pascal P40.
Suorita useita palvelimia oman kuormantasaajan takana, jos yksi GPU ei riitä.
Tarjoile yksi keskikokoinen malli tai useita pienempiä malleja.
AI Inference can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. AI Inference is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for AI Inference.
GPU-palvelimia ei ole vielä tilattavissa. Tänään voit ajaa AI Inference-suoritinta tavallisella CPU-ohjelmalla, jossa se toimii paljon hitaammin kuin GPU-palvelimella: SSH-ohjausta ja pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct-ohjausta.
VRAM-tarpeet AI Inference:lle riippuvat mallista ja eräkoosta; tarkista projektin dokumentointi nykyluvuista.
GPU-hinnoittelu julkaistaan, kun GPU-palvelimet voidaan tilata. Ota yhteyttä, jos haluat kuulla, milloin se tapahtuu.
Kyllä. Jokaisessa VPS.org-palvelimessa on täysi juurikäyttö, joten voit käyttää muita työkaluja AI Inference-palvelimen RAM-muistin ja tallennustilan rinnalla.
Jokainen VPS.org-palvelin sisältää SSH-järjestelmän, joten voit asentaa ajurit, kirjastot ja AI Inference:n, mitä tarvitset.
Ei. Ei serveriä, jossa on CUDA-ajoaika tai NVIDIA-ajuri valmiiksi asennettuna, eikä GPU-palvelimia ole vielä tilattavissa. Asennat versiot AI Inference, joita tarvitset itse.
Kyllä. VPS.org-palvelimet ovat pysyviä virtuaalisia koneita, eivät ohimeneviä tapauksia: AI Inference-malleja, konfiguraatioita ja dataa säilytetään palvelimen SSD-tallennustilassa, kunnes ne poistetaan.
Jatka palvelimen SSD-tietojen käsittelyä, jotta pääset nopeasti käsiksi AI Inference-ajojen aikana, ja kopioi valmiita esineitä (painoja, sukupolvia, upotuksia) VPS.org-järjestelmän ulkopuolelle; kuvakaappaukset ja varmuuskopiot pysyvät samassa tallennusjoukossa.
Voit päivittää minkä tahansa VPS.org-palvelimen suuremmaksi suunnitelmaksi ohjauspaneelista; kokomuutos käynnistää sen uudelleen ja AI Inference-asennussarjasi siirtyy eteenpäin. GPU-palvelimia ei ole vielä saatavilla.
Kyllä. Apujoukot ovat maksullinen lisäosa (päivittäin +30 % suunnitelman hinnasta, pidetään 7 päivää; viikoittain +20 %, pidetään 28 päivää) ja kuvakaappaukset ovat ilmaisia, mikä on hyödyllistä ennen kuin AI Inference kulkee. Molemmat pysyvät samassa säilytysjoukossa kuin palvelin.
Ota yhteyttä tukeen 30 päivän kuluessa ensimmäisestä ostoksestasi. GPU-palvelimia ei ole vielä myyty, joten GPU-tilaus ei ole mukana.
GPU:n kapasiteetti on rajallinen. Kerro työmäärästäsi, niin vastaamme hintaan ja käytettävyyteen.