CS 285 (Deep Reinforcement Learning) 요약 및 정리 (Lecture 1: Introduction and Course Overview)

* UC Berkeley CS 285 강의는 David Silver의 UCL Course on RL 강의로 대부분 커버 가능하다. 본 요약 정리 노트에서는 UCL Course on RL에서 다루지 않는 부분만 정리하는 데에 집중한다.

This post covers Lecture 1: Introduction and Course Overview.

Lecture Goal

• Deep learning과 reinforcement learning이 각각 무엇인지 배운다.
• 두 개념을 합치는 게 현실 세계의 복잡한 문제를 푸는 데에 왜 유용한지 배운다.

Note

• 대부분의 AI 관련 문제는 RL 문제로 접근할 수 있다.
• 여담으로, image classification 문제도 classfication이 잘되면 reward를 주는 식으로 RL 문제로 모델링할 수 있으나, 그냥 classfier 만들어서 푸는 게 효율적이다.
• \(\Rightarrow\) AI 문제에 RL을 도입하기 전에 일단 RL이 정말 최고의 솔루션이 될지 고민해 보라. 또 그보다 앞서, learning 문제가 맞기는 한지 고민해 보라.
• Why should we study this now?
• Advances in deep learning (transformer, PointNet, UNet, VAE, etc.)
• Advances in RL
• Advances in computational capabilities (CPU and GPU)
• Vanilla RL is too slow
• Imitation learning: learning from demonstrations
• Lecture 2 and 20
• Model-based learning: learning from observing the world
• Lecture 10-12
• Learning from other tasks
• Transfer learning
• Meta-learning: learning to learn
• Lecture 21-22