Inference Unlimited

دليل: كيفية تشغيل ميسترال على كمبيوتر بذاكرة عشوائية تبلغ 32 جيجابايت

المقدمة

ميسترال هو نموذج لغوي قوي يتطلب معدات قوية للتشغيل. في هذا الدليل، سنظهر لك كيفية تكوين وتشغيل ميسترال على كمبيوتر بذاكرة عشوائية تبلغ 32 جيجابايت. هذا سيتيح لك الاستفادة من القدرات المتقدمة لهذا النموذج.

المتطلبات الأساسية

قبل بدء التثبيت، تأكد من أن نظامك يفي بالمتطلبات التالية:

• نظام التشغيل: لينكس (موصى به Ubuntu 20.04 LTS)
• المعالج: Intel i7 أو أحدث / AMD Ryzen 7 أو أحدث
• ذاكرة عشوائية: 32GB
• كارت الرسوميات: NVIDIA مع 16GB على الأقل من ذاكرة VRAM (اختياري، ولكن موصى به)
• المساحة على القرص: 50GB على الأقل من المساحة الحرة

تثبيت الاعتماديات

الخطوة الأولى هي تثبيت جميع الاعتماديات اللازمة. افتح الطرفية وexecute الأوامر التالية:

sudo apt update
sudo apt install -y python3 python3-pip git wget

تثبيت PyTorch

ميسترال يتطلب PyTorch للتشغيل. يمكنك تثبيته باستخدام الأمر التالي:

pip3 install torch torchvision torchaudio

تحميل نموذج ميسترال

لتحميل نموذج ميسترال، استخدم الأمر التالي:

git clone https://github.com/mistralai/mistral.git
cd mistral

تكوين البيئة

قبل تشغيل النموذج، يجب تكوين البيئة. انشئ ملف config.py وأضف إليه الإعدادات التالية:

import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_path = "mistral/model.bin"

تشغيل النموذج

الآن يمكنك تشغيل نموذج ميسترال. استخدم النص التالي:

import torch
from mistral import MistralModel

# تحميل التكوين
from config import device, model_path

# تحميل النموذج
model = MistralModel.from_pretrained(model_path)
model.to(device)

# إعداد البيانات المدخلة
input_text = "كيف يمكنني مساعدتك؟"
input_ids = tokenizer.encode(input_text, return_tensors="pt").to(device)

# تنفيذ التنبؤ
output = model.generate(input_ids, max_length=50)

# عرض النتيجة
print(tokenizer.decode(output[0], skip_special_tokens=True))

تحسين الذاكرة

بسبب وجود 32GB من الذاكرة العشوائية، يمكنك تطبيق عدة تقنيات لتحسين الأداء:

1. استخدم تفعيل نقاط التدرج:

   model.gradient_checkpointing_enable()
   

2. قلل حجم الباتش:

   model.eval()
   with torch.no_grad():
       output = model.generate(input_ids, max_length=50, batch_size=1)
   

3. استخدم الكمية 8-بتيت:

   model = model.to(torch.float8)
   

مراقبة استهلاك الذاكرة

لمراقبة استهلاك الذاكرة، يمكنك استخدام النص التالي:

import psutil

def monitor_memory():
    process = psutil.Process()
    memory_info = process.memory_info()
    print(f"استهلاك الذاكرة: {memory_info.rss / (1024 ** 3):.2f} GB")

monitor_memory()

الخاتمة

في هذا الدليل، أظهرنا لك كيفية تشغيل ميسترال على كمبيوتر بذاكرة عشوائية تبلغ 32 جيجابايت. بفضل التكوين المناسب والتحسين، يمكنك استخدام هذا النموذج اللغوي القوي بفعالية. تذكر أنه إذا واجهت مشاكل في الأداء، يمكنك النظر في زيادة كمية الذاكرة العشوائية أو استخدام كارت رسوميات بذاكرة VRAM أكبر.

آمل أن يكون هذا الدليل مفيدًا لك! إذا كان لديك أي أسئلة أو تحتاج إلى مساعدة إضافية، لا تتردد في الاتصال.