greenai.guide

Início › Como faço para…? › Como armazeno dados de treino de IA para que os pipelines leiam menos?

Como faço para…?

Como armazeno dados de treino de IA para que os pipelines leiam menos?

Atualizado · 1 min de leitura

Em resumo

Armazene os dados de treino e de features num formato colunar para que os jobs leiam apenas as colunas e partições que usam, e converta o texto bruto para um formato binário uma única vez, em vez de o analisar de novo a cada execução ou época. Meça um job típico antes e depois para confirmar que a conversão compensa. O tratamento dos dados passa facilmente despercebido ao lado do modelo, mas corre em todas as experiências.

Passos

  1. Encontre os pipelines que leem por inteiro, a cada execução, arquivos de texto como CSV ou JSON.
  2. Converta-os uma única vez para um formato colunar ou binário.
  3. Particione os dados pelos campos que você usa como filtro, como data ou origem.
  4. Pré-processe e tokenize uma única vez, e reutilize o resultado entre execuções e épocas.
  5. Remova os dados duplicados e não usados antes do treino.
  6. Cronometre e meça um job típico antes e depois da mudança.

Faça com que cada job leia apenas o que usa, e o analise uma única vez. Os dados de treino muitas vezes ficam em arquivos de texto que são lidos e analisados por inteiro todas as vezes, mesmo quando o modelo precisa só de algumas colunas.

Por que isso importa?

Ler e analisar dados custa tempo de CPU, memória e tráfego de armazenamento a cada execução, a cada época e a cada experiência. Em pesquisa e desenvolvimento, onde o mesmo conjunto de dados é processado centenas de vezes, isso soma. O padrão da Green Software Foundation sobre formatos de armazenamento de dados para IA recomenda formatos colunares, para que os jobs leiam apenas as colunas e partições de que precisam, e converter os dados para um formato binário uma única vez, em vez de analisar o texto de novo.

O que devo mudar?

  • Formatos colunares como o Parquet armazenam cada coluna separadamente, por isso um job que usa cinco de cinquenta colunas lê cerca de um décimo dos dados.
  • Particionar por data, origem ou rótulo permite que um job ignore arquivos inteiros de que não precisa.
  • Conjuntos de dados pré-tokenizados evitam repetir o mesmo processamento de texto a cada época.
  • Remover duplicados reduz o conjunto de dados e, com ele, o treino.

Erros comuns

  • Converter dados que são lidos uma única vez. A conversão também tem um custo; compensa para dados lidos repetidamente.
  • Guardar todas as cópias intermediárias. Versões antigas pré-processadas ocupam armazenamento, que tem a sua própria pegada.
  • Não medir. Envolva um job típico numa ferramenta de acompanhamento como o CodeCarbon, ou pelo menos cronometre-o, antes e depois.

Para economias do lado do modelo, veja como reduzir a energia do treino de um modelo.

Fontes

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade