NVIDIA Tesla P40 (24 GB VRAM, Pascal architecture) ਉੱਤੇ ਆਪਣਾ-ਆਪ ਹੋਸਟ ਮੈਟਾ ਦੇ ਲਾਮਾ ਮਾਡਲ ਹੈ। ਪੂਰੇ ਸਪੀਡ ਤੇ 8B ਮਾਡਲ ਅਤੇ ਵੱਡੇ ਮਾਡਲ ਲਈ ਸਹਾਇਕ ਹੈ, ਜਦੋਂ ਕਿ ਕੁਆਂਟਮਾਈਜ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ; ਜਦੋਂ ਉਹ ਹੋਣ ਤਾਂ ਸੂਚਿਤ ਕਰਨ ਲਈ ਸਾਨੂੰ ਸੰਪਰਕ ਕਰੋ।
$ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3
# ਉਦਾਹਰਨ ਇੰਸਟਾਲ ਕਮਾਂਡ
ਲਾਮਾ ਮੇਟਾ ਦਾ ਪਰਿਵਾਰ ਹੈ, ਜੋ ਕਿ ਖੋਲ੍ਹਣ ਲਈ ਉਪਲੱਬਧ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦਾ ਹੈ । ਲਾਮਾ ਨੂੰ ਆਪਣੇ GPU ਸਰਵਰ ਉੱਤੇ ਚਲਾਉਣ ਨਾਲ ਪ੍ਰਸ਼ਨ ਅਤੇ ਡਾਟਾ ਨਿੱਜੀ ਰਹੇਗਾ ।
8B ਮਾਡਲ 24 GB VRAM ਉੱਤੇ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ। 70B ਮਾਡਲ ਇੱਕਲੇ 24 GB ਕਾਰਡ ਉੱਤੇ ਆਮ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਲੈਵਲ ਉੱਤੇ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦੇ ਹਨ।
ਤੁਹਾਡੇ ਪ੍ਰਸ਼ਨ ਅਤੇ ਡਾਟਾ ਤੁਹਾਡੇ ਸਰਵਰ ਉੱਤੇ ਰਹਿਣਗੇ, ਕੋਈ ਤੀਜੀ- ਧਿਰ API ਕਾਲ ਨਹੀਂ ਹੈ ।
GGUF ਨੂੰ llama.cpp ਜਾਂ Ollama ਨਾਲ ਜਾਂ ਮੁੱਢਲੇ PyTorch ਭਾਰ ਨਾਲ ਵਰਤੋਂ ।
ਓਲਾਮਾ ਜਾਂ ਓਪਨ-ਏਆਈ-ਸੰਬੰਧਿਤ ਅੰਤ-ਪੁਆਇੰਟ ਲਈ ਲਾਮਾ.cpp ਸਰਵਰ ਨਾਲ ਮਾਡਲ ਸਰਵਿਸ ਕਰੋ।
LLaMA ਆਪਣੇ ਕੰਮ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ NVIDIA GPU ਵਰਤ ਸਕਦਾ ਹੈ । VPS.org GPU ਸਰਵਰ ਅਜੇ ਤੱਕ ਆਰਡਰ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ; ਜਦੋਂ ਉਪਲੱਬਧ ਹੋਣ ਤਾਂ ਸਾਨੂੰ ਦੱਸੋ । LLaMA ਇੱਕ ਆਮ GPU- ਐਕਸਲੇਰੇਟਡ ਵਰਕਲੋਡ ਹੈ । ਇਹ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਹਾਡੇ ਸਾਫਟਵੇਅਰ ਵਿੱਚ CUDA ਸਹਿਯੋਗ ਹੈ ਅਤੇ ਤੁਹਾਡਾ ਡਰਾਇਵਰ / ਰਨਟਾਈਮ ਵਰਜਨ LLaMA ਲਈ ਵਰਕਲੋਡ ਲੋੜਾਂ ਨਾਲ ਮਿਲਦਾ ਹੈ ।
GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਕਰਨ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ । ਅੱਜ ਤੁਸੀਂ LLaMA ਨੂੰ ਇੱਕ ਨਿਯਮਤ CPU ਪਲਾਨ ਉੱਤੇ ਚਲਾ ਸਕਦੇ ਹੋ, ਜਿੱਥੇ ਕਿ ਇਹ GPU ਨਾਲੋਂ ਬਹੁਤ ਹੌਲੀ ਕੰਮ ਕਰਦਾ ਹੈ: SSH ਵਿੱਚ ਅਤੇ curl -fsSL https://ollama.com/install.sh | sh && ollama run llama3 ਚਲਾਓ ।
LLaMA ਲਈ VRAM ਲੋੜ ਮਾਡਲ ਅਤੇ ਬੈਚ ਸਾਈਜ਼ ਉੱਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ; ਮੌਜੂਦਾ ਅੰਕੜਿਆਂ ਲਈ ਪਰੋਜੈਕਟ ਡੌਕੂਮੈਂਟੇਸ਼ਨ ਦੀ ਜਾਂਚ ਕਰੋ।
GPU ਕੀਮਤਾਂ ਤਾਂ ਹੀ ਜਾਰੀ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ, ਜਦੋਂ GPU ਸਰਵਰਾਂ ਦੀ ਆਰਡਰ ਕੀਤੀ ਜਾ ਸਕੇ। ਜੇਕਰ ਤੁਸੀਂ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਕੀ ਇਹ ਕਦੋਂ ਹੋਵੇਗਾ ਤਾਂ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋ।
ਹਾਂ। ਹਰ VPS.org ਸਰਵਰ ਪੂਰੀ root ਅਧਿਕਾਰ ਨਾਲ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਸਰਵਰ ਦੀ RAM ਅਤੇ ਸਟੋਰੇਜ਼ ਵਿੱਚ LLaMA ਦੇ ਨਾਲ ਹੋਰ ਟੂਲ ਚਲਾ ਸਕਦੇ ਹੋ।
ਹਰ VPS.org ਸਰਵਰ ਪੂਰੀ root SSH ਪਹੁੰਚ ਨਾਲ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਡਰਾਇਵਰ, ਲਾਇਬਰੇਰੀਆਂ ਅਤੇ LLaMA ਇੰਸਟਾਲ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਤੁਹਾਨੂੰ ਲੋੜ ਹੈ ।
ਨਹੀਂ, ਕੋਈ ਸਰਵਰ CUDA ਰਨਟਾਈਮ ਜਾਂ NVIDIA ਡਰਾਇਵਰ ਨਾਲ ਪਹਿਲਾਂ ਇੰਸਟਾਲ ਨਹੀਂ ਹੈ, ਅਤੇ GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਆਰਡਰ ਲਈ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ । ਤੁਸੀਂ LLaMA ਲੋੜੀਦੇ ਵਰਜਨ ਆਪਣੇ ਆਪ ਇੰਸਟਾਲ ਕਰੋ ।
ਹਾਂ । VPS.org ਸਰਵਰ ਸਥਿਰ ਵੁਰਚੁਅਲ ਮਸ਼ੀਨਾਂ ਹਨ, ਨਾ ਕਿ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਮੌਜੂਦ: LLaMA ਮਾਡਲ, ਸੰਰਚਨਾ ਅਤੇ ਡਾਟਾ ਸਰਵਰ ਦੇ SSD ਸਟੋਰੇਜ ਉੱਤੇ ਰਹਿਣਗੇ, ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਹਟਾ ਨਹੀਂ ਦਿੰਦੇ ।
LLaMA ਚਲਾਉਣ ਦੌਰਾਨ ਤੇਜ਼ ਪਹੁੰਚ ਲਈ ਸਰਵਰ ਦੇ SSD ਉੱਤੇ ਕੰਮ ਡਾਟਾ ਰੱਖੋ ਅਤੇ VPS.org ਤੋਂ ਬਾਹਰ ਸਟੋਰੇਜ਼ ਲਈ ਮੁਕੰਮਲ ਆਰਟੀਫਿਕਟ (ਵਜ਼ਨ, ਜਨਰੇਸ਼ਨ, ਇੰਬੈੱਡਿੰਗ) ਦੀ ਕਾਪੀ ਕਰੋ; ਸੈਂਪਲ ਅਤੇ ਬੈਕਅੱਪ ਇੱਕੋ ਸਟੋਰੇਜ਼ ਕਲਾਸਟਰ ਉੱਤੇ ਰਹਿਣਗੇ।
ਤੁਸੀਂ ਕੰਟਰੋਲ ਪੈਨਲ ਤੋਂ ਕਿਸੇ ਵੀ VPS.org ਸਰਵਰ ਨੂੰ ਵੱਡੇ ਪਲਾਨ ਲਈ ਅੱਪਗਰੇਡ ਕਰ ਸਕਦੇ ਹੋ; ਮੁੜ- ਸਾਈਜ਼ ਕਰਨ ਨਾਲ ਇਹ ਮੁੜ- ਚਾਲੂ ਹੋ ਜਾਵੇਗਾ ਅਤੇ ਤੁਹਾਡੀ LLaMA ਇੰਸਟਾਲੇਸ਼ਨ ਨੂੰ ਲਿਜਾਏਗਾ । GPU ਸਰਵਰ ਹੁਣ ਉਪਲੱਬਧ ਨਹੀਂ ਹਨ ।
ਹਾਂ। ਬੈਕਅੱਪ ਇੱਕ ਭੁਗਤਾਨਯੋਗ ਐਡ- ਆਨ ਹੈ (ਦਿਨ ਪ੍ਰਤੀ +30% ਪਲਾਨ ਕੀਮਤ,7ਦਿਨ ਰੱਖੀ; ਹਫ਼ਤਾਵਾਰੀ +20%, 28 ਦਿਨ ਰੱਖੀ) ਅਤੇ ਸਨੈਪਸ਼ਾਟ ਮੁਫ਼ਤ ਹਨ, ਜੋ ਕਿ ਲੰਬੇ LLaMA ਚਲਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਲਾਭਦਾਇਕ ਹਨ। ਦੋਵੇਂ ਸਰਵਰ ਵਾਂਗ ਇੱਕੋ ਸਟੋਰੇਜ਼ ਕਲਾਸਟਰ ਉੱਤੇ ਰਹਿਣਗੇ।
ਤੁਹਾਡੀ ਪਹਿਲੀ ਖਰੀਦ ਤੋਂ 30 ਦਿਨਾਂ ਦੇ ਅੰਦਰ-ਅੰਦਰ ਮੁੜ-ਭੁਗਤਾਨ ਲਈ ਸਹਿਯੋਗ ਨਾਲ ਸੰਪਰਕ ਕਰੋ। GPU ਸਰਵਰ ਹੁਣ ਤੱਕ ਵੇਚੇ ਨਹੀਂ ਗਏ ਹਨ, ਇਸ ਲਈ ਕੋਈ GPU ਆਰਡਰਾਂ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ।
GPU ਸਮਰੱਥਾ ਸੀਮਿਤ ਹੈ । ਸਾਨੂੰ ਆਪਣੇ ਵਰਕਲੋਡ ਬਾਰੇ ਦੱਸੋ ਅਤੇ ਅਸੀਂ ਉਪਲੱਬਧਤਾ ਅਤੇ ਕੀਮਤ ਨਾਲ ਜਵਾਬ ਦੇਵਾਂਗੇ ।