GPU VPS யில் Ollama ஐ இயக்கு

Ollama ஒரு NVIDIA GPU ஐ பயன்படுத்தி அதன் வேலையை வேகப்படுத்த முடியும். VPS.org GPU சேவையகங்கள் இன்னும் ஆர்டர் செய்ய இயலவில்லை; அவை எப்போது கிடைக்கும் என்பதை அறிய எங்களை தொடர்பு கொள்ளவும். Ollama முதன்மையாக LLM-inference / chat workload ஆகும். வட்டுக்கு நினைவகத்திற்கு வேகமான random-access படிப்புகள் மற்றும் மாதிரி மற்றும் சூழல் சாளரத்திற்கு போதுமான VRAM தேவைப்படும்.

GPU சேவையகங்கள் இன்னும் ஆர்டர் செய்ய இயலவில்லை. இன்று நீங்கள் Ollama ஐ வழக்கமான CPU திட்டத்தில் இயக்கலாம், இது GPU யை விட மிகவும் மெதுவாக செயல்படுகிறது: SSH உள்ளே மற்றும் curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ஐ இயக்கவும்.

LLM இன்ஃபெக்ஷன் VRAM அளவு மாடலுடன் மாறுபடும்: ஒரு 7B மாடலுக்கு சுமார்5முதல் 8 GB VRAM தேவைப்படுகிறது மற்றும் ஒரு 13B மாடலுக்கு சுமார் 10 முதல் 14 GB தேவைப்படுகிறது, 70B-வகுப்பு மாடலுக்கு பல GPUகள் அல்லது கடுமையான குவாண்டமிங்க் தேவைப்படுகிறது.

GPU சேவையகங்கள் ஆர்டர் செய்யப்படும் போது GPU விலை வெளியிடப்படும். நீங்கள் கேட்க விரும்பினால் அது நடக்கும் போது எங்களை தொடர்பு கொள்ளவும்.

ஆம். ஒவ்வொரு VPS.org சேவையகமும் முழுமையான ரூட் அணுகலுடன் வருகிறது, எனவே நீங்கள் சேவையகத்தின் RAM மற்றும் சேமிப்பகத்தில் Ollama உடன் மற்ற கருவிகளை இயக்கலாம்.

ஒவ்வொரு VPS.org சேவையகமும் முழுமையான ரூட் SSH அணுகலுடன் வருகிறது, எனவே நீங்கள் இயக்கிகள், நூலகங்கள் மற்றும் Ollama ஐ நீங்கள் விரும்பும்படி நிறுவலாம்.

இல்லை. எந்த சேவையகமும் CUDA இயக்க நேரத்துடன் அல்லது NVIDIA இயக்கி முன் நிறுவப்பட்டுள்ளது, மற்றும் GPU சேவையகங்கள் இன்னும் ஆர்டர் செய்யப்படவில்லை. Ollama தேவைப்படும் பதிப்புகளை நீங்கள் நிறுவ வேண்டும்.

ஆமாம். VPS.org சேவையகங்கள் நிலையான மெய்நிகர் இயந்திரங்கள், எஃப்ஃபெமரல் இம்சைஸ் அல்ல: Ollama மாதிரிகள், வடிவமைப்புகள் மற்றும் தரவுகள் சேவையகத்தின் SSD சேமிப்பில் நீங்களே அவற்றை நீக்காத வரை இருக்கும்.

Ollama இயக்கத்தின் போது வேகமான அணுகலுக்கு சேவையகத்தின் SSD இல் பணி தரவை வைத்திருக்கவும், முடிந்த ஆர்டிஃபேக்ட்களை (எடைகள், தலைமுறைகள், உள்ளடக்கங்கள்) VPS.org இல் உள்ள சேமிப்புக்கு நகலெடுக்கவும்; ஸ்னாப்ஷாட்கள் மற்றும் காப்புப் பிரதிகள் அதே சேமிப்புக் குழுவிலேயே இருக்கும்.

நீங்கள் எந்த VPS.org சேவையகத்தையும் கட்டுப்பாட்டு பலகத்திலிருந்து பெரிய திட்டத்திற்கு மேம்படுத்தலாம்; அளவு மாற்றம் அதை மீண்டும் துவக்குகிறது மற்றும் உங்கள் Ollama நிறுவல் மேலே செல்கிறது. GPU சேவையகங்கள் இன்னும் கிடைக்கவில்லை.

ஆம். காப்புப் பிரதி ஒரு கட்டணம் செலுத்த வேண்டிய கூடுதல் (தினசரி +30% திட்ட விலை,7நாட்கள்; வாரத்திற்கு +20%, 28 நாட்கள்) மற்றும் ஸ்னாப்ஷாட்கள் இலவசம், இது நீண்ட Ollama இயக்கத்திற்கு முன்பு பயன்படுகிறது. சேவையகத்துடன் ஒரே சேமிப்புக் குழுவிலும் இருவரும் இருக்கின்றனர்.

உங்கள் முதல் வாங்குதலின் 30 நாட்களுக்குள் ஆதரவை தொடர்பு கொண்டு பணம் திரும்ப பெற வேண்டுகோள் விடுக்கவும். GPU சேவையகங்கள் விற்கப்படவில்லை, எனவே GPU ஆர்டர் இல்லை.