greenai.guide

Início › Como faço para…? › Como escolho entre recuperação e fine-tuning para economizar energia?

Como faço para…?

Como escolho entre recuperação e fine-tuning para economizar energia?

Atualizado · 1 min de leitura

Em resumo

Use a recuperação quando o modelo precisa de fatos que mudam ou que são específicos de você: coloque-os num índice pesquisável e busque apenas os trechos relevantes. Use o fine-tuning (ajuste fino) quando o modelo precisa de uma habilidade, formato ou estilo que não tem. Retreinar para manter os fatos atualizados repete os custos de treinamento, enquanto colar documentos inteiros em cada prompt desperdiça inferência, por isso cada abordagem tem o seu lugar.

Passos

  1. Liste o que falta ao modelo: fatos, uma habilidade, um formato ou um tom.
  2. Coloque os fatos que mudam ou são privados num índice pesquisável e recupere só os trechos relevantes.
  3. Faça fine-tuning de um pequeno adaptador apenas para habilidades, formatos ou estilos que o prompt não consegue obter.
  4. Atualize o índice quando o conteúdo mudar, processando só o que mudou.
  5. Meça os tokens por pedido e a qualidade de cada opção antes de decidir.

Recupere fatos; faça fine-tuning de habilidades. Escolher o errado significa pagar repetidamente, seja pelo retreinamento, seja por prompts grandes demais.

Qual é a diferença?

  • A geração aumentada por recuperação (RAG) busca trechos relevantes do seu próprio conteúdo e os entrega ao modelo junto com a pergunta. Lewis e colegas apresentaram a abordagem em 2020 para tarefas intensivas em conhecimento. Os pesos do modelo não mudam, por isso atualizar o conhecimento significa atualizar um índice.
  • O fine-tuning muda os pesos do modelo, ou um pequeno adaptador como o LoRA, para que ele aprenda um comportamento: um formato, um esquema de classificação, um estilo da casa.

Qual usa menos energia?

Depende da frequência com que as coisas mudam e de quanto texto cada pedido leva.

Situação Geralmente melhor
Os fatos mudam toda semana ou todo mês Recuperação
Documentos privados, políticas, dados de produtos Recuperação
Um formato de saída ou esquema de etiquetas fixo Fine-tuning de um modelo pequeno
Volume muito alto, tarefa estreita Fine-tuning, para que os prompts possam ser curtos

O GreenCode, um projeto de pesquisa do ITEA, descreve o uso da recuperação para que a sua própria IA leia apenas os dados de que precisa, processando só o que mudou entre execuções.

Erros comuns

  • Retreinar para acrescentar fatos. Cada atualização repete o custo do treinamento.
  • RAG do tipo "enfiar tudo no prompt". Recuperar vinte trechos longos quando dois bastariam multiplica os tokens de entrada. Veja como tornar a busca vetorial e o RAG mais eficientes.
  • Fazer fine-tuning de um modelo grande quando um pequeno ajustado bastaria.

Para o princípio mais amplo, leia orquestração em vez de geração.

Fontes

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade