ලාමා, මිස්ට්රල් සහ ජෙම්මා වැනි විවෘත මූලාශ් රය LLMs ක්රියාත්මක කිරීම සඳහා NVIDIA Tesla P40 (24 GB VRAM, Pascal ගෘහ නිර්මාණ ශිල්පය) සමඟ GPU සේවාදායක සූදානම් කර ඇත. GPU සේවාදායක තවමත් ඇණවුම් කළ නොහැකි ය; ඔවුන් දැනුම් දෙන විට අප අමතන්න.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# උදාහරණ ස්ථාපක විධානයක්
Ollama ඔබේම යන්ත්රය මත විශාල භාෂා ආකෘති ධාවනය සඳහා සැහැල්ලු මෙවලමක් වේ. GPU සේවාදායකය මත ආකෘතිය CPU වෙනුවට GPU මත ධාවනය, ප්රතිචාර වඩාත් වේගවත් කරයි.
එක් විධානයක් සමඟ ලාමා, මිස්ට්රල්, ජෙම්මා, පයි, Qwen සහ තවත් බොහෝ ආකෘති ඉවතට.
7B සිට 13B ආකෘති පහසුවෙන් හා 30B ආකෘති වටා ක්වොන්ටම් කරන විට ගැලපේ. 70B ආකෘති සාමාන්ය ක්වොන්ටම් මට්ටම්වල එක් 24 GB කාඩ්පතකට ගැලපෙන්නේ නැත.
කිසිදු තෙවන පාර්ශව API ඇමතුම් සමග, ඔබේ සේවාදායකය මත ප්රශ්න සහ දත්ත රැඳී.
ෆෝල්ඩර යනු යම්කිසි යම්කිසි කාර්යයක් සඳහා භාවිතා කළ හැකි ස්ථාන මාරු කිරීමේ පහසුකම් සපයන පහසුකම් වේ.
Ollama තම වැඩ කටයුතු වේගවත් කිරීම සඳහා NVIDIA GPU භාවිතා කළ හැකිය. VPS.org GPU සේවාදායක තවමත් ඇණවුම් කිරීමට නොමැත; ඔවුන් සිටින විට අසන්නට අප අමතන්න. Ollama ප් රධාන වශයෙන් LLM-අනුමාන / චැට් වැඩ බර වේ. ඔබට මතකයට තැටි වලින් වේගවත් අහඹු-පරිශීලන කියවීම් සහ ආකෘතිය ප් රතිසංස්කරණ කවුළුව සඳහා ප් රමාණවත් VRAM අවශ් ය වනු ඇත.
GPU සේවාදායක තවමත් ඇණවුම් කිරීමට ලබා ගත නොහැකි. අද ඔබ නිතිපතා CPU සැලැස්ම මත Ollama ධාවනය කළ හැකිය, එය GPU මත වඩා බොහෝ සෙමින් වැඩ කරන තැන: SSH හා curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ධාවනය.
LLM නිගමනය VRAM ආකෘති පරාමිතීන් සමඟ පරිමාණය කරයි. 7B ආකෘතියකට ~ 5-8 GB VRAM, 13B ~ 10-14 GB, 70B බහු-GPU හෝ ක්වොන්ටම් කිරීම අවශ් ය වේ. අපගේ 24 GB Tesla P40 INT8 ක්වොන්ටම් කිරීම සමඟ සම්පූර්ණ නිරවද් යතාවයකින් සහ 30B-පන්තියේ ආකෘති සමඟ 7B-13B ආකෘති පහසුවෙන් ක් රියාත්මක වේ.
GPU සේවාදායක ඇණවුම් කළ හැකි විට GPU මිලදී ගැනීම ප්රකාශයට පත් කරනු ඇත. ඔබ එය සිදු වන විට ඇසීමට අවශ්ය නම් අප අමතන්න.
ඔව්. සෑම VPS.org සේවාදායකය සම්පූර්ණ මූල ප්රවේශය සමග පැමිණේ, ඔබ සේවාදායකය RAM හා ගබඩා තුළ Ollama සමග අනෙකුත් මෙවලම් ධාවනය කළ හැකි නිසා.
සෑම VPS.org සේවාදායකය සම්පූර්ණ මූල SSH ප්රවේශය සමග පැමිණේ, ඔබ රියදුරු ස්ථාපනය කළ හැකි නිසා, පුස්තකාල හා Ollama කෙසේ වෙතත් ඔබ අවශ්ය.
නැහැ. කිසිදු සේවාදායකයක් CUDA runtime හෝ NVIDIA රියදුරු පෙර ස්ථාපනය සමග පැමිණෙන අතර, GPU සේවාදායක තවමත් නියෝග ලබා ගත නොහැකි. ඔබ සංස්කරණ Ollama ඔබ අවශ්යතා ස්ථාපනය.
ඔව්. VPS.org සේවාදායක ස්ථාවර අතථ්ය යන්ත, ක්ෂණික නොවන අවස්ථා වේ: Ollama ආකෘති, configs සහ දත්ත ඔබ ඔවුන් මකා දමන තෙක් සේවාදායකයේ SSD ගබඩාව මත රැඳී.
Ollama ධාවනය වන අතර වේගවත් ප්රවේශ සඳහා සේවාදායකය SSD මත වැඩ දත්ත තබා, හා අවසන් කලාකෘති පිටපත් (බර, පරම්පරා, embeddings) VPS.org පිටත ගබඩා කිරීමට; ඡායාරූප සහ පිටපත් එම ගබඩා කඳවුර මත රැඳී.
ඔබ පාලක පුවරුව සිට විශාල සැලැස්මක් ඕනෑම VPS.org සේවාදායකය උසස් කළ හැකි; resize එය නැවත ආරම්භ සහ ඔබේ Ollama ස්ථාපනය මත රැගෙන. GPU සේවාදායක තවමත් ලබා ගත නොහැකි.
ඔව්. පිටපත් රක්ෂිත ගෙවීම් add-on වේ (දිනකට +30% සැලැස්ම මිල, තබා7දින; සතිපතා +20%, තබා 28 දින) සහ ඡායාරූප නිදහස් වේ, දිගු Ollama ධාවනය පෙර ප්රයෝජනවත් වන. දෙකම සේවාදායකය ලෙස එම ගබඩා කට්ටලයේ රැඳී.
ආපසු ගෙවීමක් ඉල්ලා සිටීමට ඔබේ පළමු මිලදී ගැනීමෙන් දින 30 ක් ඇතුළත සහාය සම්බන්ධ කර ගන්න. GPU සේවාදායක තවමත් අලෙවි කර නැත, එබැවින් GPU ඇණවුම සම්බන්ධ නොවේ.
GPU ධාරිතාව සීමා සහිත වේ. ඔබේ වැඩ බර ගැන අපට කියන්න අපි ලබා ගත හැකි සහ මිලදී ගැනීම පිළිතුරු දෙනු ඇත.