Jak skonfigurować GPU do pracy z modelami LLM

Konfiguracja GPU do pracy z wielkimi modelami językowymi (LLM) wymaga uwzględnienia wielu czynników, takich jak kompatybilność sprzętowa, instalacja sterowników, konfiguracja oprogramowania oraz optymalizacja środowiska. W tym artykule omówimy krok po kroku, jak przygotować GPU do efektywnej pracy z modelami LLM.

1. Wybór odpowiedniego GPU

Przed rozpoczęciem konfiguracji ważne jest wybranie odpowiedniego GPU. Modele LLM wymagają dużo pamięci GPU (VRAM) i mocy obliczeniowej. Najpopularniejsze opcje to:

• NVIDIA A100 – idealny dla dużych modeli z dużą ilością parametrów.
• NVIDIA RTX 3090/4090 – dobry wybór dla mniejszych modeli i eksperymentów.
• AMD MI200 – alternatywa dla NVIDIA, ale wymaga dodatkowych kroków w konfiguracji.

2. Instalacja sterowników GPU

Dla kart NVIDIA

1. Pobranie sterowników:

   • Odwiedź stronę NVIDIA Driver Downloads.
   • Wybierz model karty graficznej i system operacyjny.

2. Instalacja sterowników:

   sudo apt update
   sudo apt install -y nvidia-driver-535
   sudo reboot
   

3. Sprawdzenie instalacji:

   nvidia-smi
   

Dla kart AMD

1. Pobranie sterowników:

   • Odwiedź stronę AMD Driver Support.
   • Wybierz model karty graficznej i system operacyjny.

2. Instalacja sterowników:

   sudo apt update
   sudo apt install -y rocm-opencl-runtime
   sudo reboot
   

3. Sprawdzenie instalacji:

   rocminfo
   

3. Instalacja CUDA i cuDNN

Instalacja CUDA

1. Pobranie CUDA:

   • Odwiedź stronę CUDA Toolkit Archive.
   • Wybierz odpowiednią wersję dla Twojego systemu.

2. Instalacja CUDA:

   sudo dpkg -i cuda-repo-<distro>_<version>_amd64.deb
   sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/<distro>/x86_64/3bf863cc.pub
   sudo apt update
   sudo apt install -y cuda
   

3. Dodanie CUDA do zmiennej PATH:

   echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
   echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
   source ~/.bashrc
   

Instalacja cuDNN

1. Pobranie cuDNN:

   • Zarejestruj się na stronie NVIDIA cuDNN.
   • Pobierz odpowiednią wersję dla Twojego systemu.

2. Instalacja cuDNN:

   sudo dpkg -i cudnn-local-repo-<distro>_<version>_amd64.deb
   sudo apt update
   sudo apt install -y libcudnn8
   

4. Konfiguracja środowiska programistycznego

Instalacja Python i bibliotek

1. Instalacja Python:

   sudo apt update
   sudo apt install -y python3 python3-pip python3-venv
   

2. Tworzenie wirtualnego środowiska:

   python3 -m venv llm-env
   source llm-env/bin/activate
   

3. Instalacja bibliotek:

   pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
   pip install transformers datasets accelerate
   

5. Konfiguracja modelu LLM

Przykład konfiguracji modelu z biblioteką Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

# Wczytanie modelu i tokenizera
model_name = "bigscience/bloom"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

# Przygotowanie wejścia
input_text = "Jak skonfigurować GPU do pracy z modelami LLM?"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")

# Generowanie odpowiedzi
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

6. Optymalizacja wydajności

Użycie biblioteki Accelerate

Biblioteka Accelerate pozwala na łatwe skalowanie modeli na wielu GPU.

from accelerate import Accelerator

accelerator = Accelerator()
model, optimizer = accelerator.prepare(model, optimizer)

Użycie DeepSpeed

DeepSpeed to narzędzie do optymalizacji dużych modeli.

deepspeed --num_gpus=4 train.py

Podsumowanie

Konfiguracja GPU do pracy z modelami LLM wymaga uwzględnienia wielu czynników, takich jak wybór odpowiedniego sprzętu, instalacja sterowników, konfiguracja oprogramowania oraz optymalizacja środowiska. Dzięki temu artykułowi powinieneś być w stanie przygotować swoje GPU do efektywnej pracy z wielkimi modelami językowymi.