아주대학교 이상현 교수님

• 자율 주행으로 이익을 보려면 사람 수준으로 기술 수준을 높여야 함
  • 강화학습 기술이 자율주행 기술을 사람 수준으로 끌어올릴 수 있다고 생각

• 불확실한 환경과의 상호작용을 통해서 그 데이터를 기반으로 어떻게 행동할지 배우는 기계 학습
  • Agent ↔ Environment
  • 순간마다 적절하다고 생각되는 행동을 취함 → 그 행동에 대한 보상/벌 돌려줌
    • 리워드의 누적값을 최대화해주는 행동으로
    • 마리오가 에이전트라면, 리워드인 코인을 가장 많이 얻을 수 있는 행동을 취하도록 할 것
    • 리워드: 목적지에 빠르게 도달, 액션: 회전각, 스테이트: 차량의 속도나 가속도

루빅스 큐브 로봇 개발팀 → 의료용 수술 로봇

강화학습이 사람 수준으로 끌어올릴 수 있는 두 가지 이유

1. 학습 과정에서 데이터를 취득하는 효율이 높음(에이전트가 데이터를 스스로 취함)

   • 병렬적으로 데이터 취득도 가능

2. 인간을 뛰어넘는 수준의 사고까지 도달할 수 있다

   attachment:be8b91dc-deda-4f2f-b72b-8bcc0e1231aa:IMG_6638.mov

→ 이게 성립하기 위해서는 기본 전제가 필요함

• 가상 환경 내 주행 환경이 실제 주행 환경과 거의 같아서 시뮬레이션이 잘 이루어져야 실제 환경에서 배포될 수 있음
• 그렇다면 시뮬레이터가 잘 구현되어 있나?
  • 자차 아닌 타차들끼리 충돌을 해서 경우 → 불안정한하고 불명확한 행동
  • 타차가 어떻게 움직이는지에 의해 어떻게 움직일지 결정하는 알고리즘은 아직 구현이 고도화되지 않음
  • 시뮬레이션의 구축을 할 때 주변 차량들(타차)가 실제 사람이 운전하는 거 같은 자율 주행이 필요하다 → 웃기네 재미있네
    • 쉽지 않다..
    • 시뮬레이션이 완벽히 구축될 수 없음 실제환경과 다를 수 밖에 없음
• 그렇다면 어떻게 해야 하나?
  • 실제 환경에서 로봇을 강화학습..!
    • 새로운 연구 트렌드
    • 로봇을 실제 환경에서 학습 할 때 문제
      1. 사람이 환경을 초기화해줘야 함 → 사람이 개입하는 동안 학습을 할 수 없음(학습 효율성 크게 떨어짐) — 자율주행 뿐만 아니라 여러 실세계 문제에서 발생
      2. 사람이 위험함
      3. 리워드(보상 함수 reword function)가 명확하지 않음