"¿Deberíamos hacer fine-tuning de un modelo con nuestros datos?" es una de las primeras preguntas que hacen los equipos de negocio al empezar un proyecto de IA. La intuición se entiende: nuestros datos son especiales, así que el modelo debería aprenderlos. En la práctica, el fine-tuning es el primer paso correcto muchas menos veces de lo que se piensa, y elegir mal hace perder meses. Esta guía explica qué cambia realmente cada método de personalización, qué dicen las evidencias y un proceso de decisión que puedes aplicar a tu proyecto.

Tres palancas, tres efectos distintos

Palanca Qué cambia Ideal para Tiempo hasta el primer resultado
Prompting (incl. few-shot) Las instrucciones y ejemplos que el modelo ve en ejecución Comportamiento, formato, tono, definición de la tarea Horas
RAG El conocimiento disponible en ejecución mediante recuperación Hechos, documentos, datos que cambian a menudo, citas De días a semanas
Fine-tuning Los pesos del modelo Estilo o formato consistente a escala, habilidades acotadas, modelos más pequeños y baratos, latencia Semanas

Un modelo mental útil: el prompting le dice al modelo qué hacer, el RAG le da lo que necesita saber y el fine-tuning cambia cómo tiende a comportarse. La mayoría de los problemas reales tienen que ver con los dos primeros.

Empieza por el prompting

Los modelos actuales son lo bastante capaces como para que un prompt bien estructurado con un puñado de ejemplos resuelva gran parte de las tareas de negocio: clasificación, extracción, redacción, resúmenes, traducción. El prompting tiene enormes ventajas: los cambios llevan minutos, puedes cambiar de modelo libremente y el comportamiento es inspeccionable. Antes de plantearte otra cosa, construye un prompt sólido y un conjunto de evaluación; el método está en prompt engineering para desarrolladores y evals de LLM.

El prompting llega a su límite cuando la tarea necesita conocimiento que el modelo no tiene, cuando los prompts se vuelven enormes y caros con mucho volumen o cuando el modelo no consigue seguir de forma fiable un formato complejo ni siquiera con ejemplos.

Añade RAG para el conocimiento

Si el modelo necesita los datos de tu empresa —especificaciones de producto, políticas, contratos, tickets, precios—, la recuperación es casi siempre el enfoque correcto. RAG se presentó como una forma de combinar el conocimiento paramétrico de un modelo con una memoria no paramétrica recuperable (Lewis et al., 2020), y tiene propiedades que el fine-tuning no puede igualar:

  • Actualidad. Actualizas un documento y la siguiente respuesta lo refleja. Un modelo con fine-tuning queda congelado en el momento del entrenamiento.
  • Citas. Las respuestas pueden enlazar a las fuentes, lo que genera confianza y permite comprobar los errores.
  • Control de acceso. La recuperación puede respetar los permisos del usuario; los pesos no pueden "olvidar" un documento para un usuario concreto.
  • Borrado. Eliminar datos (por ejemplo, en virtud del RGPD) significa borrarlos del índice, no reentrenar.

Las evidencias también favorecen la recuperación para el conocimiento. Un estudio que comparaba métodos de inyección de conocimiento encontró que RAG superaba de forma consistente al fine-tuning no supervisado, tanto para conocimiento visto durante el entrenamiento como para conocimiento totalmente nuevo, y que a los modelos les costaba aprender hechos nuevos solo con fine-tuning (Ovadia et al., 2023). Otros trabajos sugieren que el fine-tuning con hechos nuevos puede aumentar las alucinaciones, porque el modelo aprende a dar respuestas seguras más allá de su conocimiento real (Gekhman et al., 2024).

Construir un buen RAG es una disciplina en sí misma: chunking, embeddings, búsqueda híbrida, reranking. Consulta RAG para empresas, embeddings y chunking y bases de datos vectoriales.

Cuándo el fine-tuning es la herramienta adecuada

El fine-tuning brilla cuando necesitas cambiar el comportamiento de forma consistente y barata a escala:

  • Tareas acotadas de gran volumen. Clasificar millones de tickets de soporte o extraer campos de un tipo de documento. Un modelo pequeño con fine-tuning puede igualar a un modelo general grande en esa tarea concreta con una fracción del coste y la latencia.
  • Un estilo o formato de salida estricto que los prompts y las salidas estructuradas no consiguen imponer de forma fiable: una voz de marca, una notación propia de un dominio.
  • Prompts más cortos. Si cada petición lleva 3.000 tokens de instrucciones y ejemplos, el fine-tuning puede incorporarlos.
  • Lenguaje de dominio con el que el modelo base tiene dificultades reales: terminología especializada, idiomas o dialectos poco representados, aunque aquí conviene probar primero modelos base multilingües potentes.
  • Destilación. Usa un modelo grande para generar salidas de alta calidad y haz fine-tuning de un modelo más pequeño con ellas para producción.
  • Patrones de uso de herramientas en agentes con un conjunto fijo de herramientas, cuando necesitas que un modelo pequeño las llame de forma fiable.

El fine-tuning es la herramienta equivocada para enseñar hechos que cambian, añadir capacidad de citar, imponer permisos o arreglar problemas que se resolverían con mejores prompts.

Los métodos de fine-tuning en breve

El fine-tuning completo actualiza todos los pesos. Es caro con modelos grandes y casi siempre innecesario.

LoRA (Low-Rank Adaptation) congela el modelo base y entrena pequeñas matrices de bajo rango inyectadas en sus capas. Con GPT-3 175B, LoRA redujo los parámetros entrenables 10.000 veces y la memoria de GPU 3 veces con una calidad comparable (Hu et al., 2021). Los adaptadores son archivos pequeños que puedes intercambiar por tarea.

QLoRA combina LoRA con un modelo base cuantizado a 4 bits, lo que permite hacer fine-tuning de un modelo de 65B en una sola GPU de 48 GB (Dettmers et al., 2023). Es lo que hace práctico el fine-tuning de modelos de pesos abiertos con hardware modesto.

El ajuste por preferencias (RLHF, DPO) enseña al modelo cuál de dos salidas es mejor en lugar de imitar un único objetivo. Útil para alinear tono y estilo, pero requiere datos de preferencias (Rafailov et al., 2023).

El fine-tuning alojado de los proveedores de modelos (por ejemplo, el fine-tuning de OpenAI) se encarga de la infraestructura por ti, con menos control. Para modelos de pesos abiertos, la librería PEFT de Hugging Face y las herramientas construidas sobre ella son el camino estándar.

Los datos: el coste real del fine-tuning

El cómputo suele ser la parte barata. Lo caro son los datos:

  • Cantidad: cientos de ejemplos pueden cambiar el estilo; miles son lo habitual para un rendimiento fiable en una tarea; más para tareas complejas.
  • Calidad: cada ejemplo debe ser exactamente lo que quieres que produzca el modelo. Las etiquetas incoherentes enseñan incoherencia. Revisar 2.000 ejemplos son semanas de tiempo de expertos.
  • Cobertura: los ejemplos deben cubrir casos límite, rechazos y la distribución real de entradas.
  • Evaluación con datos reservados: un conjunto de prueba aparte con el que nunca entrenes, además de tu batería de evals existente.
  • Mantenimiento: cuando cambian los requisitos, vuelves a seleccionar datos y a entrenar.
{"messages": [
  {"role": "system", "content": "Classify the support ticket. Output one label."},
  {"role": "user", "content": "No puedo descargar el certificado de conciliación, el botón está gris"},
  {"role": "assistant", "content": "documents.export_bug"}
]}

Si no puedes producir unos cuantos miles de ejemplos de esta calidad, el fine-tuning probablemente sea prematuro.

Combinar las palancas

Los métodos no son excluyentes. Combinaciones habituales en producción:

  • Prompting + RAG: la opción por defecto para asistentes de conocimiento, bots de soporte y búsqueda interna.
  • RAG + modelo con fine-tuning: un modelo ajustado para responder a partir del contexto recuperado con el formato correcto y para decir "no está en los documentos", la idea detrás del fine-tuning consciente de la recuperación como RAFT (Zhang et al., 2024).
  • Modelo grande → modelo pequeño destilado: prototipa con un modelo de frontera y prompting, recoge las salidas y haz fine-tuning de un modelo pequeño por coste y latencia, a menudo self-hosted.
  • Routing: un modelo pequeño con fine-tuning gestiona los casos habituales y los dudosos van a un modelo grande. Consulta optimización de costes de LLM.

Un proceso de decisión

  1. Define el éxito y construye un conjunto de evaluación de más de 100 casos reales.
  2. Haz prompting con un modelo potente. Mide.
  3. Si los fallos se deben a falta de conocimiento → añade RAG. Mide.
  4. Si los fallos son de comportamiento o formato → mejora los prompts, los ejemplos y las salidas estructuradas. Mide.
  5. Si la calidad es buena pero el coste o la latencia son demasiado altos para tu volumen → plantéate el fine-tuning de un modelo más pequeño (destilación). Mide con el mismo eval.
  6. Si la calidad se estanca en una tarea acotada pese a tener buenos prompts → plantéate el fine-tuning con datos seleccionados.

Cada paso debe justificarse con resultados de evals, no con intuición. Los nuevos lanzamientos de modelos también mueven la línea base: un fine-tuning que superaba al modelo base del año pasado puede perder frente al de este año con un buen prompt; consulta cómo elegir un LLM.

Preguntas frecuentes

¿Podemos hacer fine-tuning de un modelo con todos los documentos de la empresa para que los "conozca"? Técnicamente sí, pero es la forma menos eficaz de dar conocimiento a un modelo: mal recuerdo de hechos concretos, sin citas y sin actualizaciones salvo reentrenando. Usa RAG.

¿Hace falta fine-tuning para trabajar en español? Normalmente no. Los modelos multilingües potentes, comerciales y abiertos, manejan bien el español. El fine-tuning puede ayudar con el estilo de un dominio concreto o con modelos pequeños.

¿Cuánto cuesta el fine-tuning? LoRA sobre un modelo abierto de 7–14B puede costar de decenas a cientos de dólares en tiempo de GPU. La preparación de datos y la evaluación suelen costar mucho más en tiempo de personas.

¿El fine-tuning ayuda con las alucinaciones? Puede enseñar a un modelo a negarse o a ceñirse al contexto proporcionado, pero el fine-tuning con hechos nuevos puede aumentar las alucinaciones. Basar las respuestas en RAG y verificarlas es más fiable.

Fuentes

  1. Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.
  2. Ovadia et al. (2023). Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs.
  3. Gekhman et al. (2024). Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?
  4. Hu et al. (2021). LoRA: Low-Rank Adaptation of Large Language Models.
  5. Dettmers et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs.
  6. Rafailov et al. (2023). Direct Preference Optimization; Zhang et al. (2024). RAFT: Adapting Language Model to Domain Specific RAG.
  7. OpenAI. Fine-tuning guide; Hugging Face. PEFT.