성균관대학교 최윤석 교수님

• 챗지피티 → 단어를 하나하나 생성함(LLM 모델의 핵심)
  • 단어를 하나씩 생성해서 최종적으로 하나의 답변을 생성
  • 텍스트, 코드, 기타(게임 등)
• 코드
  • 커서, 코파일럿

랭귀지 모델

• 매번 높은 확률의 단어를 선택
• Large Language Model란?
  1. 트랜스포머 기반 모델로 학습
  2. 엄청나게 많은 데이터로 학습

Transformer-based Model

• 인코더와 디코더
  • 인코더 : understanding 이해
  • 디코더 : generation 생성

Pre-trained Language Model

• 프리 트레인
  • 사전 학습
  • 랭귀지 모델을 어떤 모델을 통해, 어떤 오브젝트를 통해, 어떤 데이터로 사전학습을 할 것인지
• 요즘은 대부분 트랜스포머 모델을 사용함
• 이해하기 적합한 오브젝티브가 있고 생성하기 적합한 오브젝티브가 있음