NVIDIA Tesla P40 (24 GB VRAM, Pascal Architecture) හි AI ආකෘති සේවය කරන්න: LLMs, රූප ආකෘති සහ වෙනත් අනාවැකි. GPU සේවාදායක තවමත් ඇණවුම් කළ නොහැකි ය; ඔවුන් සිටින විට දැනුම් දීමට අප අමතන්න.
$ pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct
# උදාහරණ ස්ථාපක විධානයක්
AI තීරණය අනාවැකි නිපදවීම සඳහා පුහුණු ආකෘති ධාවනය කිරීමයි. GPU තීරණය සේවාදායකය GPU මත පැටවූ ආකෘතිය තබා CPU වලට වඩා බොහෝ වේගයෙන් ඉල්ලීම් පිළිතුරු.
GPU එක ඔබේ සේවාදායකය වෙත පමණක් යැවෙන අතර, එබැවින් අනෙකුත් ගනුදෙනුකරුවන්ගේ GPU වැඩවලට බලපෑමක් නොමැති අතර, ලැටෙන්සියට බලපෑමක් නොමැත.
Ollama, llama.cpp, Triton හෝ ඔබේම API භාවිතා කරන්න. vLLM වැනි සමහර රාමුව, පැස්කල් P40 ට වඩා නව GPUs අවශ්ය වේ.
එක් GPU එකක් ප්‍රමාණවත් නොවේ නම් ඔබේම බර සමතුලිතකරණය පසු සේවාදායක කිහිපයක් ධාවනය කරන්න.
එක් මධ්යම ප්රමාණයේ ආකෘතිය හෝ කුඩා ඒවා කිහිපයක් සේවය කරන්න.
AI Inference එහි වැඩ වේගවත් කිරීමට NVIDIA GPU භාවිතා කළ හැකිය. VPS.org GPU සේවාදායක තවමත් ඇණවුම් කිරීමට නොමැත; ඔවුන් සිටින විට අසන්නට අප අමතන්න. AI Inference සාමාන්ය GPU-අධිකරණය වැඩ බර වේ. ඔබේ මෘදුකාංග CUDA සහාය ඇති බව සහ ඔබේ රියදුරු / runtime අනුවාද AI Inference සඳහා වැඩ බර අවශ්යතා ගැලපෙන බව සහතික කරන්න.
GPU සේවාදායක තවමත් ඇණවුම් කිරීමට ලබා ගත නොහැකි. අද ඔබ නිතිපතා CPU සැලැස්ම මත AI Inference ධාවනය කළ හැකිය, එය GPU මත වඩා බොහෝ සෙමින් වැඩ කරන තැන: SSH හා pip install vllm && vllm serve meta-llama/Llama-3-8B-Instruct ධාවනය.
AI Inference සඳහා VRAM අවශ්යතා ආකෘතිය හා කණ්ඩායම් ප්රමාණයට අනුව වෙනස් වේ; වත්මන් සංඛ්යා සඳහා ව්යාපෘතිය ලේඛන පරීක්ෂා කරන්න.
GPU සේවාදායක ඇණවුම් කළ හැකි විට GPU මිලදී ගැනීම ප්රකාශයට පත් කරනු ඇත. ඔබ එය සිදු වන විට ඇසීමට අවශ්ය නම් අප අමතන්න.
ඔව්. සෑම VPS.org සේවාදායකය සම්පූර්ණ මූල ප්රවේශය සමග පැමිණේ, ඔබ සේවාදායකය RAM හා ගබඩා තුළ AI Inference සමග අනෙකුත් මෙවලම් ධාවනය කළ හැකි නිසා.
සෑම VPS.org සේවාදායකය සම්පූර්ණ මූල SSH ප්රවේශය සමග පැමිණේ, ඔබ රියදුරු ස්ථාපනය කළ හැකි නිසා, පුස්තකාල හා AI Inference කෙසේ වෙතත් ඔබ අවශ්ය.
නැහැ. කිසිදු සේවාදායකයක් CUDA runtime හෝ NVIDIA රියදුරු පෙර ස්ථාපනය සමග පැමිණෙන අතර, GPU සේවාදායක තවමත් නියෝග ලබා ගත නොහැකි. ඔබ සංස්කරණ AI Inference ඔබ අවශ්යතා ස්ථාපනය.
ඔව්. VPS.org සේවාදායක ස්ථාවර අතථ්ය යන්ත, ක්ෂණික නොවන අවස්ථා වේ: AI Inference ආකෘති, configs සහ දත්ත ඔබ ඔවුන් මකා දමන තෙක් සේවාදායකයේ SSD ගබඩාව මත රැඳී.
AI Inference ධාවනය වන අතර වේගවත් ප්රවේශ සඳහා සේවාදායකය SSD මත වැඩ දත්ත තබා, හා අවසන් කලාකෘති පිටපත් (බර, පරම්පරා, embeddings) VPS.org පිටත ගබඩා කිරීමට; ඡායාරූප සහ පිටපත් එම ගබඩා කඳවුර මත රැඳී.
ඔබ පාලක පුවරුව සිට විශාල සැලැස්මක් ඕනෑම VPS.org සේවාදායකය උසස් කළ හැකි; resize එය නැවත ආරම්භ සහ ඔබේ AI Inference ස්ථාපනය මත රැගෙන. GPU සේවාදායක තවමත් ලබා ගත නොහැකි.
ඔව්. පිටපත් රක්ෂිත ගෙවීම් add-on වේ (දිනකට +30% සැලැස්ම මිල, තබා7දින; සතිපතා +20%, තබා 28 දින) සහ ඡායාරූප නිදහස් වේ, දිගු AI Inference ධාවනය පෙර ප්රයෝජනවත් වන. දෙකම සේවාදායකය ලෙස එම ගබඩා කට්ටලයේ රැඳී.
ආපසු ගෙවීමක් ඉල්ලා සිටීමට ඔබේ පළමු මිලදී ගැනීමෙන් දින 30 ක් ඇතුළත සහාය සම්බන්ධ කර ගන්න. GPU සේවාදායක තවමත් අලෙවි කර නැත, එබැවින් GPU ඇණවුම සම්බන්ධ නොවේ.
GPU ධාරිතාව සීමා සහිත වේ. ඔබේ වැඩ බර ගැන අපට කියන්න අපි ලබා ගත හැකි සහ මිලදී ගැනීම පිළිතුරු දෙනු ඇත.