Comparación de rendimiento de diferentes modelos LLM en hardware doméstico

En los últimos años, los modelos de lenguaje a gran escala (LLM) se han vuelto increíblemente populares, tanto en investigaciones científicas como en aplicaciones industriales. Sin embargo, sus altos requisitos de cómputo a menudo dificultan su ejecución en hardware doméstico. En este artículo, compararemos el rendimiento de diferentes modelos LLM en una computadora personal típica, para ayudar a los usuarios a elegir la solución óptima.

Introducción

Los modelos LLM, como BERT, T5 o Mistral, requieren recursos computacionales significativos. Para comparación, algunos modelos pueden tener incluso cientos de miles de millones de parámetros, lo que se traduce en un alto consumo de memoria RAM y potencia de cómputo. En este artículo, nos centraremos en modelos que se pueden ejecutar en hardware doméstico, como:

• Mistral 7B
• Llama 2 7B
• Falcon 7B
• StableLM 7B

Hardware de prueba

Para las pruebas, utilizamos el siguiente hardware:

• Procesador: AMD Ryzen 7 5800X
• Tarjeta gráfica: NVIDIA RTX 3060 (12GB VRAM)
• Memoria RAM: 32GB DDR4
• Sistema operativo: Ubuntu 22.04 LTS

Metodología de las pruebas

Para comparar el rendimiento de los modelos, realizamos las siguientes pruebas:

1. Carga del modelo: Se midió el tiempo necesario para cargar el modelo en la memoria.
2. Generación de texto: Se midió el tiempo necesario para generar 100 tokens.
3. Consumo de memoria: Se midió el consumo de memoria RAM durante la ejecución del modelo.

Código utilizado para las pruebas:

from transformers import AutoModelForCausalLM, AutoTokenizer
import time
import torch

def load_model(model_name):
    start_time = time.time()
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
    end_time = time.time()
    load_time = end_time - start_time
    return model, tokenizer, load_time

def generate_text(model, tokenizer, prompt, max_length=100):
    start_time = time.time()
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
    outputs = model.generate(**inputs, max_length=max_length)
    end_time = time.time()
    generation_time = end_time - start_time
    return tokenizer.decode(outputs[0], skip_special_tokens=True), generation_time

model_name = "mistralai/Mistral-7B-v0.1"
model, tokenizer, load_time = load_model(model_name)
prompt = "¿Cuál es el propósito de la vida?"
generated_text, generation_time = generate_text(model, tokenizer, prompt)
print(f"Tiempo de carga del modelo: {load_time:.2f} segundos")
print(f"Tiempo de generación de texto: {generation_time:.2f} segundos")
print(f"Texto generado: {generated_text}")

Resultados de las pruebas

1. Tiempo de carga del modelo

| Modelo | Tiempo de carga (s) | |---------------------|-------------------| | Mistral 7B | 120 | | Llama 2 7B | 110 | | Falcon 7B | 105 | | StableLM 7B | 95 |

2. Tiempo de generación de texto

| Modelo | Tiempo de generación (s) | |---------------------|----------------------| | Mistral 7B | 5.2 | | Llama 2 7B | 4.8 | | Falcon 7B | 4.5 | | StableLM 7B | 4.2 |

3. Consumo de memoria

| Modelo | Consumo de memoria (GB) | |---------------------|----------------------| | Mistral 7B | 14.5 | | Llama 2 7B | 14.0 | | Falcon 7B | 13.8 | | StableLM 7B | 13.5 |

Análisis de los resultados

Basándonos en las pruebas realizadas, podemos observar que:

• Tiempo de carga del modelo: El modelo StableLM 7B es el más rápido en cargar, mientras que Mistral 7B es el más lento.
• Tiempo de generación de texto: El modelo StableLM 7B también es el más rápido en generar texto, mientras que Mistral 7B es el más lento.
• Consumo de memoria: Todos los modelos tienen un consumo de memoria similar, con pequeñas diferencias.

Conclusiones

La elección del modelo LLM adecuado depende de los requisitos específicos y del hardware disponible. Si la prioridad es la velocidad de carga y generación de texto, la mejor opción será StableLM 7B. Si, por otro lado, es importante la calidad del texto generado, vale la pena considerar Mistral 7B o Llama 2 7B.

Resumen

La comparación de rendimiento de diferentes modelos LLM en hardware doméstico muestra que existen varias opciones que se pueden ejecutar en una computadora personal típica. La elección del modelo adecuado depende de las necesidades individuales y los recursos disponibles. Para los usuarios que desean lograr el mejor rendimiento, StableLM 7B es la mejor opción, mientras que para aquellos que priorizan la calidad, Mistral 7B o Llama 2 7B pueden ser más adecuados.