Em resumo
Armazene os dados de treino e de features num formato colunar para que os jobs leiam apenas as colunas e partições que usam, e converta o texto bruto para um formato binário uma única vez, em vez de o analisar de novo a cada execução ou época. Meça um job típico antes e depois para confirmar que a conversão compensa. O tratamento dos dados passa facilmente despercebido ao lado do modelo, mas corre em todas as experiências.
Passos
- Encontre os pipelines que leem por inteiro, a cada execução, arquivos de texto como CSV ou JSON.
- Converta-os uma única vez para um formato colunar ou binário.
- Particione os dados pelos campos que você usa como filtro, como data ou origem.
- Pré-processe e tokenize uma única vez, e reutilize o resultado entre execuções e épocas.
- Remova os dados duplicados e não usados antes do treino.
- Cronometre e meça um job típico antes e depois da mudança.
Faça com que cada job leia apenas o que usa, e o analise uma única vez. Os dados de treino muitas vezes ficam em arquivos de texto que são lidos e analisados por inteiro todas as vezes, mesmo quando o modelo precisa só de algumas colunas.
Por que isso importa?
Ler e analisar dados custa tempo de CPU, memória e tráfego de armazenamento a cada execução, a cada época e a cada experiência. Em pesquisa e desenvolvimento, onde o mesmo conjunto de dados é processado centenas de vezes, isso soma. O padrão da Green Software Foundation sobre formatos de armazenamento de dados para IA recomenda formatos colunares, para que os jobs leiam apenas as colunas e partições de que precisam, e converter os dados para um formato binário uma única vez, em vez de analisar o texto de novo.
O que devo mudar?
- Formatos colunares como o Parquet armazenam cada coluna separadamente, por isso um job que usa cinco de cinquenta colunas lê cerca de um décimo dos dados.
- Particionar por data, origem ou rótulo permite que um job ignore arquivos inteiros de que não precisa.
- Conjuntos de dados pré-tokenizados evitam repetir o mesmo processamento de texto a cada época.
- Remover duplicados reduz o conjunto de dados e, com ele, o treino.
Erros comuns
- Converter dados que são lidos uma única vez. A conversão também tem um custo; compensa para dados lidos repetidamente.
- Guardar todas as cópias intermediárias. Versões antigas pré-processadas ocupam armazenamento, que tem a sua própria pegada.
- Não medir. Envolva um job típico numa ferramenta de acompanhamento como o CodeCarbon, ou pelo menos cronometre-o, antes e depois.
Para economias do lado do modelo, veja como reduzir a energia do treino de um modelo.
Fontes
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
Relacionados
Como reduzo a energia do treinamento de um modelo?
As principais alavancas para cortar a energia do treinamento: partir de um modelo pré-treinado, ajustar o tamanho, precisão mista, parar cedo, local e hora limpos, medir.
Como torno a busca vetorial e o RAG mais eficientes?
Formas de reduzir a computação da geração aumentada por recuperação: índices aproximados, menos trechos e mais curtos, indexação incremental e modelos menores.
Treinamento e inferência de IA eficientes
Técnicas para desenvolvedores e pesquisadores reduzirem a energia da IA: poda, esparsidade, quantização, destilação, KV cache, batching, precisão mista e agendamento.
Como meço a energia que a IA usa no meu próprio computador ou GPU?
Meça a energia da IA local com contadores de hardware, telemetria da GPU ou um medidor de tomada, amostre o trabalho todo e subtraia a base em repouso.