Itsekehottava Metan Llama-mallit NVIDIA Tesla P40 (24 GB VRAM, Pascal) -arkkitehtuurin päällä. Sviitit 8B-malleille täysin tarkasti ja suuremmille malleille, kun ne on asetettu määrällisesti. GPU-palvelimet eivät ole vielä tilattavissa, ota yhteyttä, jotta ne ilmoitetaan.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# Esimerkkiasennuskomento
Llama on Metan perhe, jossa on tarjolla suuria kielimalleja. Llaman pyörittäminen omalla GPU-palvelimella pitää tiedot ja tiedot yksityisinä.
Pyörittää 8B-malleja 24 GB VRAM-mallilla. 70B-mallit eivät sovi yhteenkään 24 GB-korttiin, kun ne ovat yhteisiä quantisointitasoja.
Tiedot ja tiedot pysyvät palvelimellasi ilman kolmannen osapuolen API-puheluita.
Käytä GGUF-ainetta lama.cpp- tai Ollama-painojen kanssa tai Pytorchin alkuperäispainojen kanssa.
Tarjoile mallit Ollaman tai lama.cpp-palvelimen kanssa OpenAI-yhteensopivaksi päätetapahtumaksi.
LLaMA can use an NVIDIA GPU to speed up its work. VPS.org GPU servers are not available to order yet; contact us to hear when they are. LLaMA is a general GPU-accelerated workload. Make sure your software has CUDA support and that your driver / runtime versions match the workload requirements for LLaMA.
GPU-palvelimia ei ole vielä tilattavissa. Tänään voit ajaa LLaMA-suoritinta tavallisella CPU-ohjelmalla, jossa se toimii paljon hitaammin kuin GPU-palvelimella: SSH-ohjausta ja curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3-ohjausta.
VRAM-tarpeet LLaMA:lle riippuvat mallista ja eräkoosta; tarkista projektin dokumentointi nykyluvuista.
GPU-hinnoittelu julkaistaan, kun GPU-palvelimet voidaan tilata. Ota yhteyttä, jos haluat kuulla, milloin se tapahtuu.
Kyllä. Jokaisessa VPS.org-palvelimessa on täysi juurikäyttö, joten voit käyttää muita työkaluja LLaMA-palvelimen RAM-muistin ja tallennustilan rinnalla.
Jokainen VPS.org-palvelin sisältää SSH-järjestelmän, joten voit asentaa ajurit, kirjastot ja LLaMA:n, mitä tarvitset.
Ei. Ei serveriä, jossa on CUDA-ajoaika tai NVIDIA-ajuri valmiiksi asennettuna, eikä GPU-palvelimia ole vielä tilattavissa. Asennat versiot LLaMA, joita tarvitset itse.
Kyllä. VPS.org-palvelimet ovat pysyviä virtuaalisia koneita, eivät ohimeneviä tapauksia: LLaMA-malleja, konfiguraatioita ja dataa säilytetään palvelimen SSD-tallennustilassa, kunnes ne poistetaan.
Jatka palvelimen SSD-tietojen käsittelyä, jotta pääset nopeasti käsiksi LLaMA-ajojen aikana, ja kopioi valmiita esineitä (painoja, sukupolvia, upotuksia) VPS.org-järjestelmän ulkopuolelle; kuvakaappaukset ja varmuuskopiot pysyvät samassa tallennusjoukossa.
Voit päivittää minkä tahansa VPS.org-palvelimen suuremmaksi suunnitelmaksi ohjauspaneelista; kokomuutos käynnistää sen uudelleen ja LLaMA-asennussarjasi siirtyy eteenpäin. GPU-palvelimia ei ole vielä saatavilla.
Kyllä. Apujoukot ovat maksullinen lisäosa (päivittäin +30 % suunnitelman hinnasta, pidetään 7 päivää; viikoittain +20 %, pidetään 28 päivää) ja kuvakaappaukset ovat ilmaisia, mikä on hyödyllistä ennen kuin LLaMA kulkee. Molemmat pysyvät samassa säilytysjoukossa kuin palvelin.
Ota yhteyttä tukeen 30 päivän kuluessa ensimmäisestä ostoksestasi. GPU-palvelimia ei ole vielä myyty, joten GPU-tilaus ei ole mukana.
GPU:n kapasiteetti on rajallinen. Kerro työmäärästäsi, niin vastaamme hintaan ja käytettävyyteen.