AI推論GPUサーバ

AI Inference は NVIDIA GPU を使って作業を高速化できます。 VPS.org GPU サーバはまだ注文できません。注文するときは、我々に連絡してください。AI Inference は一般的な GPU 加速ワークロードです。ソフトウェアが CUDA サポートを持ち、ドライバ/ランタイムバージョンが AI Inference のワークロード要求に合致していることを確認してください。

グラフィックサーバはまだ注文できません。現在、AI Inferenceは通常の CPU プランで実行できます。そこでは、GPU よりも遅く動作します。SSH で入力し、pip install vllm && vllm serve meta-llama/Llama-3-8B-Instructを実行します。

VRAM needs for AI Inference depend on the model and batch size; check the project documentation for current figures.

GPU サーバが注文可能になったときに GPU 価格が公開されます。その時に知りたい場合は、我々に連絡してください。

ああ、すべてのVPS.orgサーバはフルルートアクセスを持ってる だから、他のツールをAI Inferenceと共に サーバのRAMとストレージ内で動かすことができる

すべてのVPS.orgサーバはフルルートSSHアクセスを持ち、ドライバ、ライブラリ、AI Inferenceを必要に応じてインストールできます。

No. No server comes with a CUDA runtime or NVIDIA driver preinstalled, and GPU servers are not available to order yet. You install the versions AI Inference needs yourself.

はい。VPS.orgサーバは永続的な仮想マシンであり、短期間のインスタンスではありません。AI Inferenceモデル、コンフィギュレーション、データは、削除されるまでサーバのSSDストレージに残ります。

実行中のデータはサーバのSSDに保持し，AI Inferenceの実行中の高速アクセスを可能にし，完成したアーティファクト（重み，生成，埋め込み）をVPS.org以外のストレージにコピーする。

コンピュータの制御パネルからどの VPS.org サーバでもより大きなプランにアップグレードできます。サイズ変更で再起動され、AI Inference のインストールが引き継がれます。GPU サーバはまだ利用できません。

バックアップは有料アドオン (プラン価格の日々+30%、7日間保持、週間+20%、28日間保持) であり、スナップショットは無料で、長期AI Inferenceの実行前に役立ちます。両方ともサーバと同じストレージクラスタに残ります。

初回購入後30日以内にサポートに連絡して返金を要求してください。GPUサーバはまだ販売されていませんので、GPUの注文は含まれません。