Log of Inspiration and Retrospection

  * UC Berkeley CS 285 강의는 David Silver의  UCL Course on RL  강의로 대부분 커버 가능하다. 본 요약 정리 노트에서는 UCL Course on RL에서 다루지 않는 부분만 정리하는 데에 집중한다. This post covers Lecture 2: Supervised Learning of Behaviors . Terminology DL 맥락의 classification 문제는 \(\mathbf{a}_t\)가 단순히 데이터의 ground truth label이고, \(\mathbf{a}_t\)가 \(\mathbf{o}_{t+1}\)에 영향을 안준다는 차이점이 있다. 이에 반해, RL 문제나 기타 sequential decision making 문제는, 현재의 액션이 다음 관측에 영향을 준다. Imitation Learning Nothing but supervised learning Good example만 training dataset에 넣는다면, policy network의 오차 등으로 완벽히 좋은 state paths를 따라갈 수 없고, good example에 나오지 않는 새로운 케이스에 대응하는 법을 배우지 못해 goal을 달성하지 못하게 된다. DAgger: dataset aggregation Learned policy가 실제로 도달한 state 혹은 observation에서 인간이 손수 바람직한 action을 labeling 한다. 다만, 이 방법은 (3) labeling cost가 너무 크고, 자율주행차를 이렇게 훈련시켰다간 (2) 실제로 차량이 몇 번이고 박살 나야 한다. 사람이 운전하는 것과 매우 다른 observation을 줄 때 사람이 제대로 labeling하기 힘든 점도 있다. Why might we fail to fit the expert? Non-Markovian behavior History 전체를 저장하고 모델 트레이닝에 사용하는 건 cost가 너무 크다. Causa...

블로그를 시작하는 이유💬 최근 몇 년 간 기록 의 중요성을 체감했습니다. 2019년 여름, 한 스타트업에서 딥러닝 연구 인턴으로 근무했을 때 매일 업무 내용을 Done/To-do 형식으로 나눠서 연구 일지를 작성해야 하는 소업무가 있었습니다. 그것이 습관이 되어 인턴 이후 대학원 석사 과정에 들어가서도 매일 빠짐없이 일지를 작성했고 학위를 마친 지금도 쭉 이어지고 있습니다.  특히나 제가 속했던 연구실에서는 Done/To-do를 격주에 한 번 발표하는 랩 미팅 시간과, 약 6개월마다 한 번은 연구실 구성원 전체 앞에서 반기 리뷰를 하는 그룹 미팅 시간이 있었기 때문에, 매일 일지를 작성하는 습관은 대학원 생활 내내 큰 도움이 됐습니다. 수업 과제를 할 때도, 보고서를 쓸 때도, 발표 자료를 만들 때도, 과제 제안서를 쓸 때도, 논문을 쓸 때도.... 매일 1분씩 투자해서 개인 슬랙(Slack) 채널에 남겨뒀던 기록들은 항상 큰 힘을 발휘했습니다. 이에 관한 구체적인 경험도 곧 글로 옮길 예정입니다. 본 블로그에서는 제 삶을 개인적으로만 기록했던 것에서 한발짝 더 나아가려 합니다. 석사 학위 과정 중 1년 간 학부생을 대상으로 상담 조교 (counselling assistant) 역할을 맡았었는데, 카톡이나 메일 등 매체의 한계도 있었고 상담 시간도 현실적으로 1시간 정도로 제한적이었기 때문에 도움이 필요한 분들에게 충분히 이야기를 들려드리지 못한 게 아쉬웠습니다. 특히 많은 분들이 '학부 생활을 어떻게 했는지', '어떻게 공부하는지', '대학원 생활은 어땠는지', '교환 학생 때의 경험은 어떤지' 등 몇 마디 말로 다 표현하기 어려운 스토리들을 공통적으로 궁금해해주셨습니다. 그래서 블로그라는 매체를 통해 매일을 기록하면서 저라는 사람의 과거, 현재, 미래를 불특정 다수의 사람들과 나누고자 합니다. 그렇게 쌓인 글들은 제게 희미한 기억에만 의존해서 회상하는 게 아니라 체계적으로 과거를 반추하며 미래를 대...

This post covers  Lecture 6: Value Function Approximation (davidsilver.uk)   The entire course materials can be found on the following page:  Teaching - David Silver . Lecture Goal Learn how to deal with a large-scale (potentially continuous) state space with RL Learn value function approximation Learn Deep Q-Network (DQN) and batch methods Credit:  Find order of polynomial approximation and LeastSquares for given datapoints Value Function Approximation Lookup table Table store an entry for each lookup index. Value-state Index = \(\forall s \in S\), where \(S\) is a finite and discrete state space Entry = \(V(s)\) Action-state Or every state-action pair \(s, a\) has an entry \(Q(s,a)\) Or every state \(s\) has entries \(Q(s,a)\) for all actions \(a \in A\) So far, we have represented a value function by a lookup table. Large MDPs Memory inefficiency : too many states or actions to store in memory Too slow to learn the value of each state individually Note: neighbor...