[작성자:] sp

핵심 요약:
전이학습은 한 영역에서 획득한 지식·기능·표현 다른 관련 영역으로 이전하여 학습 효율과 성능을 향상시키는 기법·이론·실천 방안을 포괄하는 개념이다. 기계학습, 인지심리학, 산업응용, 교육공학 등 분야별로 다음과 같이 정의된다.

1. 기계학습(ML) 분야 정의

1. 기본 개념
   전이학습(TL)은 출처(source) 도메인·태스크에서 학습한 지식이나 표현(representation)을 목표(target) 도메인·태스크에 재활용함으로써, 학습 시간 단축과 일반화 성능 향상을 도모하는 기법이다1.
2. 공식 정의

• Pan et al.(2010)의 통합 정의:
  • 도메인 D={X,P(X)}\mathcal{D}=\{\mathcal{X},P(X)\}D={X,P(X)} (특징 공간 X\mathcal{X}X, 확률분포 P(X)P(X)P(X))
  • 태스크 T={Y,f(⋅)}\mathcal{T}=\{\mathcal{Y},f(\cdot)\}T={Y,f(⋅)} (레이블 공간 Y\mathcal{Y}Y, 예측함수 fff)
  • 전이학습 목표: DS≠DT \mathcal{D}_S\neq \mathcal{D}_TDS=DT 또는 TS≠TT\mathcal{T}_S\neq \mathcal{T}_TTS=TT인 상황에서, 출처 지식 (DS,TS)(\mathcal{D}_S,\mathcal{T}_S)(DS,TS)을 활용해 목표 예측함수 fTf_TfT 학습 성능을 향상시키는 것23.

3. 체계화된 분류

• 도메인 적응(Domain Adaptation): 특징 공간은 같으나 분포가 다른 경우
• 기능 전이(Inductive Transfer): 태스크 공간은 달라도 출처 지식이 목표에 도움되는 경우
• 멀티태스크 학습(Multi-Task Learning): 여러 태스크를 동시 학습하여 표현을 공유하는 기법으로 전이학습과 밀접함4.

2. 인지심리학·교육공학 분야 정의

1. 전이학습(Transfer of Learning)
   학습자가 특정 상황에서 습득한 지식·기술·전략을 새로운 상황에 적용하는 과정으로, *근거리 전이(near transfer)*와 *원거리 전이(far transfer)*로 구분된다5.
2. 이론적 틀

• 동일 요소 이론(Identical Elements): 학습과 적용 상황의 공통 요소가 많을수록 전이가 잘 일어난다5.
• 메타인지적 전이(High-Road Transfer): 추상화와 연결 탐색을 통해 의식적 사고로 전이를 유도
• 반사적 전이(Low-Road Transfer): 학습된 루틴이 유사 자극에 자동 발현

3. 긍정적·부정적 전이

• 긍정적 전이(Positive Transfer): 이전 학습이 새 학습을 촉진
• 부정적 전이(Negative Transfer): 이전 학습이 새 학습을 방해

3. 산업 및 실무 분야 정의

1. 비즈니스 관점
   전이학습은 레이블링 비용과 컴퓨팅 자원 절감을 가능케 하여, 상업적 AI 솔루션 도입 장벽을 낮추는 핵심 기술로 여겨진다6.

“사전 훈련된 네트워크의 마지막 일부 레이어만 재학습함으로써, 방대한 데이터 없이도 유사 업무에 적용 가능하다.”6

2. 실용적 이점

• 시간 절약: 수주·수개월 걸리던 학습을 수시간 내에 완료
• 데이터 절감: 클래스당 최소 수십장만 확보해도 높은 성능 달성
• 모델 효율화: 경량 네트워크(예: MobileNet, BERT) 활용 시 모바일·엣지 환경에서도 실용성 확보

4. 역사적 발전

연도	주요 성과 및 개념
1976	Bozinovski & Fulgosi: 신경망 전이학습 수학·기하학 모델 제시7.
1981	Thorndike & Woodworth: ‘동일 요소’ 기반 전이 제한·지원 이론 제안5.
1992	Pratt: 판별 기반 전이 알고리즘(DBT) 발표; Perkins & Salomon: 메타인지적 전이·근거리·원거리 개념 구분8.
1997	Pratt & Thrun: Machine Learning 특별호; Thrun & Pratt: Learning to Learn 편집9.
2010	Pan et al.: ML 통합 전이학습 정의·분류 정립2.
2012	도메인 적응·멀티태스크 학습 부상; 학술 토션(ACL, ICML) 다수 연구 발표
2015~	CNN·Transformer 계열 모델 사전학습 활용 확대 (ImageNet, BERT 등)
2020	“Rethinking Pre-Training and Self-Training” 논문: 전이 한계·자기훈련 대안 제시9.

5. 요약 및 권장 사항

• 학술적 관점: 도메인·태스크 정의에 기반한 엄밀한 전이학습 이론 학습 필수
• 실용적 관점: 사전훈련된 백본을 활용한 계층별 재학습으로 리소스 최적화
• 교육·심리적 관점: 메타인지·환경 설계를 통한 학습 전이 촉진
• 산업적 관점: 비용·시간 절감을 넘어 새로운 비즈니스 케이스 창출

전이학습은 이제 단순한 기술을 넘어, 인간 학습과 유사한 지식 이전 개념으로 확장되고 있다. 각 분야별 정의와 사례를 바탕으로, 연구·개발·교육 모두에서 전이학습의 원리와 기법을 전략적으로 통합할 때 최대의 효과를 거둘 수 있다.

1. https://en.wikipedia.org/wiki/Transfer_learning
2. https://alinlab.kaist.ac.kr/resource/Lec11_Transfer_Learning.pdf
3. https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf
4. https://h2o.ai/wiki/transfer-learning/
5. https://en.wikipedia.org/wiki/Transfer_of_learning
6. https://www.danrose.ai/blog/transfer-learning-from-a-business-perspective
7. https://www.wikiwand.com/en/articles/transfer_learning
8. https://web.archive.org/web/20081203104029/http:/learnweb.harvard.edu/alps/thinking/docs/traencyn.htm
9. https://handwiki.org/wiki/Transfer_learning
10. https://www.ibm.com/think/topics/transfer-learning
11. https://www.restack.io/p/transfer-learning-answer-historical-context-cat-ai
12. https://www.geeksforgeeks.org/machine-learning/ml-introduction-to-transfer-learning/
13. https://www.restack.io/p/transfer-learning-answer-history-evolution-cat-ai
14. https://www.ultralytics.com/glossary/transfer-learning
15. https://www.byteplus.com/en/topic/399116
16. https://www.sciencedirect.com/topics/computer-science/transfer-learning
17. https://www.datacamp.com/blog/what-is-transfer-learning-in-ai-an-introductory-guide
18. https://www.kdnuggets.com/2022/01/transfer-learning.html
19. https://www.pinecone.io/learn/transfer-learning/
20. https://www.techtarget.com/searchcio/definition/transfer-learning
21. https://aws.amazon.com/what-is/transfer-learning/
22. https://time.com/collection_hub_item/definition-of-transfer-learning/
23. https://www.v7labs.com/blog/transfer-learning-guide
24. https://www.goodwin.edu/files/docs/guili/transfer-of-learning.pdf
25. https://cloudassess.com/blog/transfer-of-learning/
26. https://www.structural-learning.com/post/transference-of-learning
27. https://library.fiveable.me/key-terms/cognitive-psychology/transfer-of-learning
28. https://scispace.com/pdf/the-transfer-of-learning-exploration-of-benefits-and-2ltobzza8a.pdf
29. https://srkvcoe.org/wp/wp-content/uploads/2023/12/5-Transfer-of-Learning.pdf
30. https://projects.iq.harvard.edu/files/nextlevellab/files/transfer_summary_points_for_practice._july_2021.fin_.pdf
31. https://www1.udel.edu/dssep/transfer/Definitions%20of%20Transfer.pdf
32. https://files.eric.ed.gov/fulltext/ED611647.pdf
33. https://www.iguazio.com/glossary/transfer-learning/
34. https://en.wikipedia.org/wiki/Inductive_transfer
35. https://dacon.io/en/forum/405988
36. https://files.eric.ed.gov/fulltext/EJ1217940.pdf