greenai.guide

홈 › 어떻게 하나요? › 모델을 처음부터 학습시키지 않으려면 어떻게 해야 하나요?

어떻게 하나요?

모델을 처음부터 학습시키지 않으려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

작업에 가까운 사전 학습 모델을 찾아 적응시키십시오. 파인튜닝하거나, LoRA 같은 작은 어댑터를 학습시키거나, 다시 학습하는 대신 검색(retrieval)으로 지식을 더하면 됩니다. 같은 기반 모델에서 파인튜닝한 모델이 이미 여러 개 있다면, 가중치를 평균 내어 추론 비용을 늘리지 않고 정확도를 높일 수 있습니다. 파운데이션 모델 연구가 아니라면 처음부터 학습시켜야 하는 경우는 드뭅니다.

단계

  1. 공개 모델 허브에서 해당 분야와 언어의 사전 학습 모델을 찾습니다.
  2. 부족한 점이 있다고 판단하기 전에, 가장 가까운 후보들을 실제 작업으로 시험합니다.
  3. 자체 데이터로 파인튜닝하거나 LoRA 어댑터를 학습시킵니다.
  4. 바뀌는 지식은 다시 학습하는 대신 검색으로 다룹니다.
  5. 같은 기반에서 파인튜닝한 모델이 있다면 재사용하고 병합합니다.
  6. 다른 사람이 재사용할 수 있도록 파인튜닝한 모델과 그 학습 배출량을 공개합니다.

먼저 재사용하십시오. 필요한 것에 가까운 모델은 거의 언제나 누군가가 이미 학습시켜 두었고, 이를 적응시키는 비용은 직접 학습시키는 비용의 작은 일부에 불과합니다.

왜 중요한가요?

사전 학습은 모델의 일생에서 에너지를 가장 많이 쓰는 단계입니다. Green Software Foundation의 패턴은 처음부터 학습시키기보다 사전 학습 모델과 전이 학습을 활용하라고 권합니다. 수학자, 컴퓨터 과학자, 업계가 함께한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)에서도 유용한 성과가 잘 알려지지 않은 저장소에 많이 묻혀 있다는 점이 지적되었습니다. 따라서 꼼꼼한 검색이 모든 프로젝트의 첫걸음입니다.

어떤 선택지가 있나요?

  • 사전 학습 모델을 자체 데이터로 파인튜닝합니다. Hu와 동료들은 LoRA로 GPT-3 175B 전체 파인튜닝에 비해 학습 가능한 파라미터 수를 10,000분의 1로 줄였습니다. 막대한 연산 없이 파인튜닝하는 방법을 참고하십시오.
  • 바뀌는 지식에는 검색(retrieval)을 씁니다. 검색과 파인튜닝 중 선택하기를 참고하십시오.
  • 모델 병합. Wortsman과 동료들은 같은 기반에서 파인튜닝한 여러 모델의 가중치를 평균 낸 "모델 수프(model soup)"가 추론 시간을 늘리지 않고 정확도를 높일 수 있음을 보였습니다.
  • 작은 전문 모델로 증류(distillation)합니다. 모델을 증류하는 방법을 참고하십시오.

흔한 실수

  • 자기 분야가 너무 전문적이라고 단정하는 것. 범용 모델과 분야별 모델을 먼저 시험해 보십시오. 대개 꽤 가까운 결과를 냅니다.
  • 라이선스를 무시하는 것. 라이선스 때문에 일부 재사용이 불가능할 수 있습니다.
  • 결과를 공유하지 않는 것. Hugging Face가 지원하는 대로 모델 카드 메타데이터에 학습 배출량을 담아 파인튜닝한 모델을 공개하면, 다른 사람이 같은 작업을 반복하지 않아도 됩니다.

연구 관점은 효율적인 AI를 위한 수학을 읽어 보십시오.

출처

  1. Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
  2. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
  4. Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호