# Como armazeno dados de treino de IA para que os pipelines leiam menos?

> Como formatos colunares e binários, particionamento e pré-processamento único reduzem a energia que os pipelines de IA gastam a ler e analisar dados de treino.

Source: https://greenai.guide/pt/como/como-armazeno-dados-de-treino-de-ia-para-que-os-pipelines-leiam-menos/  
Updated: 2026-11-19

## Em resumo

Armazene os dados de treino e de features num formato colunar para que os jobs leiam apenas as colunas e partições que usam, e converta o texto bruto para um formato binário uma única vez, em vez de o analisar de novo a cada execução ou época. Meça um job típico antes e depois para confirmar que a conversão compensa. O tratamento dos dados passa facilmente despercebido ao lado do modelo, mas corre em todas as experiências.

## Steps

1. Encontre os pipelines que leem por inteiro, a cada execução, arquivos de texto como CSV ou JSON.
2. Converta-os uma única vez para um formato colunar ou binário.
3. Particione os dados pelos campos que você usa como filtro, como data ou origem.
4. Pré-processe e tokenize uma única vez, e reutilize o resultado entre execuções e épocas.
5. Remova os dados duplicados e não usados antes do treino.
6. Cronometre e meça um job típico antes e depois da mudança.

**Faça com que cada job leia apenas o que usa, e o analise uma única vez.** Os dados de treino muitas vezes ficam em
arquivos de texto que são lidos e analisados por inteiro todas as vezes, mesmo quando o modelo precisa só de algumas
colunas.

## Por que isso importa? {#why-does-it-matter}

Ler e analisar dados custa tempo de CPU, memória e tráfego de armazenamento a cada execução, a cada época e a cada
experiência. Em pesquisa e desenvolvimento, onde o mesmo conjunto de dados é processado centenas de vezes, isso soma.
O padrão da Green Software Foundation sobre formatos de armazenamento de dados para IA recomenda formatos colunares,
para que os jobs leiam apenas as colunas e partições de que precisam, e converter os dados para um formato binário uma
única vez, em vez de analisar o texto de novo.

## O que devo mudar? {#what-should-i-change}

- **Formatos colunares** como o Parquet armazenam cada coluna separadamente, por isso um job que usa cinco de
  cinquenta colunas lê cerca de um décimo dos dados.
- **Particionar** por data, origem ou rótulo permite que um job ignore arquivos inteiros de que não precisa.
- **Conjuntos de dados pré-tokenizados** evitam repetir o mesmo processamento de texto a cada época.
- **Remover duplicados** reduz o conjunto de dados e, com ele, o treino.

## Erros comuns {#common-mistakes}

- **Converter dados que são lidos uma única vez.** A conversão também tem um custo; compensa para dados lidos
  repetidamente.
- **Guardar todas as cópias intermediárias.** Versões antigas pré-processadas ocupam armazenamento, que tem a sua
  própria pegada.
- **Não medir.** Envolva um job típico numa ferramenta de acompanhamento como o CodeCarbon, ou pelo menos
  cronometre-o, antes e depois.

Para economias do lado do modelo, veja [como reduzir a energia do treino de um modelo](/pt/como/como-reduzo-a-energia-do-treinamento-de-um-modelo/).

## Fontes

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
