NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) මත ස්වයං-සත්කාරක මෙටා ගේ ලාමා ආකෘති. සම්පූර්ණ නිරවද්යතාව සහ විශාල ආකෘති 8B ආකෘති සඳහා සුදුසු වේ. GPU සේවාදායක තවමත් ඇණවුම් කළ නොහැකි ය; ඔවුන් සිටින විට දැනුම් දීමට අප අමතන්න.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# උදාහරණ ස්ථාපක විධානයක්
ලාමා යනු විවෘතව ලබාගත හැකි විශාල භාෂා ආකෘති මෙටා පවුලයි. ඔබේ GPU සේවාදායකය මත ලාමා ධාවනය කිරීමෙන් ප්රශ්න සහ දත්ත පෞද්ගලිකව තබා ගනී.
VRAM හි 24 GB මත 8B ආකෘති ධාවනය කරයි. 70B ආකෘති පොදු ක්වොන්ටම් මට්ටම්වල තනි 24 GB කාඩ්පතකට ගැලපෙන්නේ නැත.
ඔබේ ප්රශ්න සහ දත්ත ඔබේ සේවාදායකය මත රැඳී, කිසිදු තෙවන පාර්ශව API ඇමතුම් සමග.
ලාමා.cpp හෝ Ollama, හෝ ස්වදේශීය PyTorch බර සමග GGUF භාවිතා කරන්න.
OpenAI අනුකූල අවසාන ස්ථානයක් සඳහා Ollama හෝ llama.cpp සේවාදායකය සමඟ ආකෘති සේවය කරන්න.
LLaMA එහි වැඩ වේගවත් කිරීමට NVIDIA GPU භාවිතා කළ හැකිය. VPS.org GPU සේවාදායක තවමත් ඇණවුම් කිරීමට නොමැත; ඔවුන් සිටින විට අසන්නට අප අමතන්න. LLaMA සාමාන්ය GPU-අධිකරණය වැඩ බර වේ. ඔබේ මෘදුකාංග CUDA සහාය ඇති බව සහ ඔබේ රියදුරු / runtime අනුවාද LLaMA සඳහා වැඩ බර අවශ්යතා ගැලපෙන බව සහතික කරන්න.
GPU සේවාදායක තවමත් ඇණවුම් කිරීමට ලබා ගත නොහැකි. අද ඔබ නිතිපතා CPU සැලැස්ම මත LLaMA ධාවනය කළ හැකිය, එය GPU මත වඩා බොහෝ සෙමින් වැඩ කරන තැන: SSH හා curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ධාවනය.
LLaMA සඳහා VRAM අවශ්යතා ආකෘතිය හා කණ්ඩායම් ප්රමාණයට අනුව වෙනස් වේ; වත්මන් සංඛ්යා සඳහා ව්යාපෘතිය ලේඛන පරීක්ෂා කරන්න.
GPU සේවාදායක ඇණවුම් කළ හැකි විට GPU මිලදී ගැනීම ප්රකාශයට පත් කරනු ඇත. ඔබ එය සිදු වන විට ඇසීමට අවශ්ය නම් අප අමතන්න.
ඔව්. සෑම VPS.org සේවාදායකය සම්පූර්ණ මූල ප්රවේශය සමග පැමිණේ, ඔබ සේවාදායකය RAM හා ගබඩා තුළ LLaMA සමග අනෙකුත් මෙවලම් ධාවනය කළ හැකි නිසා.
සෑම VPS.org සේවාදායකය සම්පූර්ණ මූල SSH ප්රවේශය සමග පැමිණේ, ඔබ රියදුරු ස්ථාපනය කළ හැකි නිසා, පුස්තකාල හා LLaMA කෙසේ වෙතත් ඔබ අවශ්ය.
නැහැ. කිසිදු සේවාදායකයක් CUDA runtime හෝ NVIDIA රියදුරු පෙර ස්ථාපනය සමග පැමිණෙන අතර, GPU සේවාදායක තවමත් නියෝග ලබා ගත නොහැකි. ඔබ සංස්කරණ LLaMA ඔබ අවශ්යතා ස්ථාපනය.
ඔව්. VPS.org සේවාදායක ස්ථාවර අතථ්ය යන්ත, ක්ෂණික නොවන අවස්ථා වේ: LLaMA ආකෘති, configs සහ දත්ත ඔබ ඔවුන් මකා දමන තෙක් සේවාදායකයේ SSD ගබඩාව මත රැඳී.
LLaMA ධාවනය වන අතර වේගවත් ප්රවේශ සඳහා සේවාදායකය SSD මත වැඩ දත්ත තබා, හා අවසන් කලාකෘති පිටපත් (බර, පරම්පරා, embeddings) VPS.org පිටත ගබඩා කිරීමට; ඡායාරූප සහ පිටපත් එම ගබඩා කඳවුර මත රැඳී.
ඔබ පාලක පුවරුව සිට විශාල සැලැස්මක් ඕනෑම VPS.org සේවාදායකය උසස් කළ හැකි; resize එය නැවත ආරම්භ සහ ඔබේ LLaMA ස්ථාපනය මත රැගෙන. GPU සේවාදායක තවමත් ලබා ගත නොහැකි.
ඔව්. පිටපත් රක්ෂිත ගෙවීම් add-on වේ (දිනකට +30% සැලැස්ම මිල, තබා7දින; සතිපතා +20%, තබා 28 දින) සහ ඡායාරූප නිදහස් වේ, දිගු LLaMA ධාවනය පෙර ප්රයෝජනවත් වන. දෙකම සේවාදායකය ලෙස එම ගබඩා කට්ටලයේ රැඳී.
ආපසු ගෙවීමක් ඉල්ලා සිටීමට ඔබේ පළමු මිලදී ගැනීමෙන් දින 30 ක් ඇතුළත සහාය සම්බන්ධ කර ගන්න. GPU සේවාදායක තවමත් අලෙවි කර නැත, එබැවින් GPU ඇණවුම සම්බන්ධ නොවේ.
GPU ධාරිතාව සීමා සහිත වේ. ඔබේ වැඩ බර ගැන අපට කියන්න අපි ලබා ගත හැකි සහ මිලදී ගැනීම පිළිතුරු දෙනු ඇත.