NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) પર મેટાના લ્મા મોડેલોને સ્વયં-યજમાન કરો. પૂર્ણ ચોકસાઈ પર 8B મોડેલો અને મોટા મોડેલો માટે યોગ્ય જ્યારે કવન્ટાઇઝ થયેલ હોય. GPU સર્વર હજુ પણ આદેશ કરી શકાય તેવા નથી; જ્યારે તેઓ હોય ત્યારે સૂચિત કરવા માટે અમારો સંપર્ક કરો.
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ઉદાહરણ સ્થાપન આદેશ
લામા એ ખુલ્લી રીતે ઉપલબ્ધ લાંબા ભાષા મોડેલોનું મેટાનું કુટુંબ છે. તમારા પોતાના GPU સર્વર પર લામા ચલાવવું પ્રશ્નો અને માહિતી ખાનગી રાખે છે.
VRAM ના ૨૪ GB પર ૮B મોડેલો ચલાવે છે. ૭૦B મોડેલો સામાન્ય કવન્ટાઇઝેશન સ્તરો પર એક જ ૨૪ GB કાર્ડ પર બંધબેસતા નથી.
તમારી પ્રશ્નો અને માહિતી તમારા સર્વર પર રહે છે, કોઈ ત્રીજા પક્ષ API કોલ્સ વગર.
GGUF ને llama.cpp અથવા Ollama, અથવા મૂળ PyTorch વજન સાથે વાપરો.
OpenAI-સંગત અંતબિંદુ માટે Ollama અથવા llama.cpp સર્વર સાથે મોડેલોની સેવા કરો.
LLaMA એ તેની કામગીરી ઝડપી કરવા NVIDIA GPU વાપરી શકે છે. VPS.org GPU સર્વર હજુ પણ ઓર્ડર કરવા માટે ઉપલબ્ધ નથી; તેઓ ક્યારે છે તે સાંભળવા માટે અમારો સંપર્ક કરો. LLaMA એ સામાન્ય GPU-પ્રવેગિત કાર્યભાર છે. ખાતરી કરો કે તમારા સોફ્ટવેરમાં CUDA આધાર છે અને તમારા ડ્રાઇવર / રનટાઇમ આવૃત્તિઓ LLaMA માટે કાર્યભાર જરૂરિયાતો સાથે બંધબેસે છે.
GPU સર્વર હજુ સુધી ઓર્ડર કરવા માટે ઉપલબ્ધ નથી. આજે તમે LLaMA ને નિયમિત CPU યોજના પર ચલાવી શકો છો, જ્યાં તે GPU કરતા ઘણું ધીમેથી કામ કરે છે: SSH માં અને curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ચલાવો.
LLaMA માટે VRAM જરૂરિયાતો મોડેલ અને બેચ માપ પર આધારિત છે; વર્તમાન આંકડા માટે પ્રોજેક્ટ દસ્તાવેજ ચકાસો.
GPU કિંમત જાહેર કરવામાં આવશે જ્યારે GPU સર્વરોને આદેશ કરી શકાય છે. અમારો સંપર્ક કરો જો તમે સાંભળવા માંગતા હોવ તો જ્યારે તે થાય છે.
હા. દરેક VPS.org સર્વર સંપૂર્ણ રુટ પ્રવેશ સાથે આવે છે, તેથી તમે સર્વરની RAM અને સંગ્રહની અંદર LLaMA ની સાથે અન્ય સાધનો ચલાવી શકો છો.
દરેક VPS.org સર્વર સંપૂર્ણ રુટ SSH પ્રવેશ સાથે આવે છે, તેથી તમે ડ્રાઇવરો, લાઇબ્રેરીઓ અને LLaMA સ્થાપિત કરી શકો છો જેમ તમારે જરૂર હોય.
ના. કોઇ સર્વર CUDA runtime અથવા NVIDIA ડ્રાઇવર સાથે પહેલાથી સ્થાપિત થયેલ નથી, અને GPU સર્વરો હજુ સુધી આદેશ માટે ઉપલબ્ધ નથી. તમે LLaMA આવૃત્તિઓ તમારી જાતને સ્થાપિત કરો.
હા. VPS.org સર્વર એ સ્થિર વર્ચ્યુઅલ મશીનો છે, અસ્થાયી ઘટનાઓ નથી: LLaMA મોડેલો, રૂપરેખાંકનો અને માહિતી સર્વરના SSD સંગ્રહ પર રહે છે જ્યાં સુધી તમે તેમને કાઢી નાખો.
LLaMA ચલાવવા દરમિયાન ઝડપી પ્રવેશ માટે સર્વરની SSD પર કામ કરવાની માહિતી રાખો, અને સમાવાયેલ આર્ટીફેક્ટ્સ (વજન, પેઢીઓ, સમાવિષ્ટો) ની નકલ VPS.org ની બહાર સંગ્રહમાં કરો; સ્નેપશોટ અને બેકઅપ એ જ સંગ્રહ ક્લસ્ટર પર રહે છે.
તમે નિયંત્રણ પેનલમાંથી કોઈપણ VPS.org સર્વરને મોટી યોજના માટે સુધારી શકો છો; માપ બદલવાનું તેને પુન:શરૂ કરે છે અને તમારું LLaMA સ્થાપન ઉપર લઇ જાય છે. GPU સર્વર હજુ ઉપલબ્ધ નથી.
હા. બેકઅપ એ ચૂકવણી થયેલ ઉમેરું છે (દરરોજ +30% યોજના કિંમત, 7દિવસ રાખેલ; અઠવાડિયામાં +20%, 28 દિવસ રાખેલ) અને સ્નેપશોટ મુક્ત છે, જે LLaMA લાંબા સમય સુધી ચાલે તે પહેલાં ઉપયોગી છે. બંને સર્વરની જેમ સમાન સંગ્રહ ક્લસ્ટર પર રહે છે.
તમારા પ્રથમ ખરીદીના 30 દિવસો અંદર ફરીથી ચૂકવણીની વિનંતી કરવા માટે આધારનો સંપર્ક કરો. GPU સર્વર હજુ વેચાયા નથી, તેથી GPU આદેશ સામેલ નથી.
GPU ક્ષમતા મર્યાદિત છે. અમને તમારા કાર્યભાર વિશે કહો અને અમે ઉપલબ્ધતા અને કિંમત સાથે જવાબ આપીશું.