GPU'yi LLM Modelleri ile Çalıştırmak İçin Nasıl Yapılandırılır

GPU'yi büyük dil modelleri (LLM) ile çalıştırmak için, donanım uyumluluğu, sürücülerin kurulumu, yazılım yapılandırması ve ortamın optimize edilmesi gibi birçok faktörü dikkate almak gerekir. Bu makalede, GPU'yi LLM modelleri ile verimli bir şekilde çalıştırmak için adım adım nasıl hazırlayacağınızı anlatacağız.

1. Uygun GPU Seçimi

Yapılandırmaya başlamadan önce uygun bir GPU seçmek önemlidir. LLM modelleri çok fazla GPU belleği (VRAM) ve hesaplama gücü gerektirir. En popüler seçenekler şunlardır:

• NVIDIA A100 – Büyük model ve çok sayıda parametre için ideal.
• NVIDIA RTX 3090/4090 – Küçük modeller ve deneyler için iyi bir seçenek.
• AMD MI200 – NVIDIA için alternatif, ancak yapılandırmada ek adımlar gerektirir.

2. GPU Sürücüleri Kurulumu

NVIDIA Kartları İçin

1. Sürücüleri İndirme:

   • NVIDIA Driver Downloads sayfasını ziyaret edin.
   • Grafik kartı modeli ve işletim sistemi seçin.

2. Sürücüleri Kurma:

   sudo apt update
   sudo apt install -y nvidia-driver-535
   sudo reboot
   

3. Kurulumu Kontrol Etme:

   nvidia-smi
   

AMD Kartları İçin

1. Sürücüleri İndirme:

   • AMD Driver Support sayfasını ziyaret edin.
   • Grafik kartı modeli ve işletim sistemi seçin.

2. Sürücüleri Kurma:

   sudo apt update
   sudo apt install -y rocm-opencl-runtime
   sudo reboot
   

3. Kurulumu Kontrol Etme:

   rocminfo
   

3. CUDA ve cuDNN Kurulumu

CUDA Kurulumu

1. CUDA İndirme:

   • CUDA Toolkit Archive sayfasını ziyaret edin.
   • Sisteminiz için uygun sürümü seçin.

2. CUDA Kurulumu:

   sudo dpkg -i cuda-repo-<distro>_<version>_amd64.deb
   sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/<distro>/x86_64/3bf863cc.pub
   sudo apt update
   sudo apt install -y cuda
   

3. CUDA'Yı PATH Değişkenine Ekleme:

   echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
   echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
   source ~/.bashrc
   

cuDNN Kurulumu

1. cuDNN İndirme:

   • NVIDIA cuDNN sayfasında kaydolun.
   • Sisteminiz için uygun sürümü indirin.

2. cuDNN Kurulumu:

   sudo dpkg -i cudnn-local-repo-<distro>_<version>_amd64.deb
   sudo apt update
   sudo apt install -y libcudnn8
   

4. Programlama Ortamı Yapılandırması

Python ve Kütüphanelerin Kurulumu

1. Python Kurulumu:

   sudo apt update
   sudo apt install -y python3 python3-pip python3-venv
   

2. Sanal Ortam Oluşturma:

   python3 -m venv llm-env
   source llm-env/bin/activate
   

3. Kütüphanelerin Kurulumu:

   pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
   pip install transformers datasets accelerate
   

5. LLM Modeli Yapılandırması

Transformers Kütüphanesi ile Model Yapılandırması Örneği

from transformers import AutoModelForCausalLM, AutoTokenizer

# Model ve tokenizer'ın yüklenmesi
model_name = "bigscience/bloom"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# Giriş hazırlama
input_text = "Jak skonfigurować GPU do pracy z modelami LLM?"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")

# Yanıt üretimi
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

6. Performans Optimizasyonu

Accelerate Kütüphanesi Kullanımı

Accelerate kütüphanesi, modelleri birden fazla GPU'ya kolayca ölçeklendirmeyi sağlar.

from accelerate import Accelerator

accelerator = Accelerator()
model, optimizer = accelerator.prepare(model, optimizer)

DeepSpeed Kullanımı

DeepSpeed, büyük modelleri optimize etmek için bir araçtır.

deepspeed --num_gpus=4 train.py

Özet

GPU'yi LLM modelleri ile çalıştırmak için, uygun donanım seçimi, sürücülerin kurulumu, yazılım yapılandırması ve ortamın optimize edilmesi gibi birçok faktörü dikkate almak gerekir. Bu makale sayesinde GPU'yi büyük dil modelleri ile verimli bir şekilde çalıştırmak için hazırlayabileceksiniz.