PEFT : 파라미터 효율적 파인 튜닝(Parameter Efficient Fine Tuning), LoRA
과도하게 많아진 AI 모델의 파라미터 수로 인해, 모델 학습에 필요한 자원이 증가됨
PEFT는 모델을 효율적으로 훈련하기 위한 연구분야로, 모델의 전체 파라미터 대신 일부만 효율적으로 학습하여
성능은 보장하고, 학습 비용을 절감하려는 것이 목적.
AI 모델의 학습과정
1. 사전 학습(Pre-training) : 방대한 양의 데이터를 학습하며 분야를 한정하지 않고 전반적인 지식을 모두 익힘
2. 파인 튜닝(Fine Tuning) : 특정한 분야의 지식을 집중적으로 학습
PEFT의 목적 : 파인 튜닝 단계 학습 비용 절감
- 이미 사전 학습 단게에서 필요한 대부분의 지식을 습득했으므로,
파인 튜닝에서는 더 적은 비용만으로도 특정 작업을 수행하도록 할 수 있음
- 딥러닝 모델의 파라미터 중 일부만을 선택해 파라미터를 업데이트함
- 현재 가장 널리 쓰이는 방법 : Low Rank Adaptation (LoRA)
LoRA
- 사전학습된 가중치 W에 낮은 랭크를 갖는 두 행렬 A와 B를 붙이는 방법.
- 기존의 파인 튜닝 : W와 같은 차원의 또 다른 행렬 ΔW를 학습하기 때문에 학습 비용이 매우 큼
- LoRA : ΔW를 낮은 랭크를 갖는 두 개의 행렬로 분해하기 때문에 학습 비용이 크게 절감됨
- 학습 완료 후에는 다시 A와 B를 곱해서 W와 같은 차원의 행렬로 만들어 더해줌
→ 추론 지연(Inference Latency) 발생 하지 않음
- 학습된 모델을 저장하고 배포하는 데도 용이
: 모델의 기존의 가중치는 학습하지 않고, 별도로 추가한 LoRA 모듈만을 훈련하고 저장하기 때문
- 학습에 필요한 자원은 크게 줄여도, 성능은 거의 저하되지 않음
- 관련 논문에서, 파인 튜닝(FT) 베이스라인에 비해 LoRA 적용 모델의 성능이 거의 떨어지지 않는 것을 볼 수 있음
- 이론적 근거가 충분하지 않다는 단점이 있으며, 더 많은 연구를 가능하게 하기도 함
논문 출처 : LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS (Hu et al., 2021)
뉴스레터 출처 : 딥다이브