글

라벨이 대학원인 게시물 표시

KAIST 회고 (1): 공부법 정리

이미지
(2021-08-29 초안 작성) 성적을 잘 받기 위한 기본 정리 1: 시험과 과제 마감일은 우리를 기다려주지 않는다 내용) 오늘 들은 강의는 이틀 내에 복습하라 해설) 엘리베이터 앞에 몇 초만 늦게 도착해도 먼저 엘리베이터에 타고 올라간 사람보다 많게는 수 분 가량 늦을 수 있다. 학교는 학생의 학습 능력을 매 초 마다 연속적으로 체크하지 않는다. 억울하지만, 시험 당일이나 과제 제출 당일에 퍼포먼스를 제대로 못 보여주면 그 후폭풍은 거대하다. 예를 들어, 한 학기 동안 매번 당일 수업 내용으로 다음 날 시험을 보는 상황을 가정하자. 매일 복습을 하는 학생과 항상 수업 이틀 뒤에 복습을 하는 (즉, 시험치고 다음 날) 학생이 있다면, 해당 학기가 끝난 뒤 두 학생의 이해도는 별반 차이 없을 것이다. 둘 다 공부를 제대로 했다는 가정 하에, 복습을 며칠 미룬다고 큰 차이가 날 리가. 다만 시험 성적은, 앞의 학생은 충분히 높을 것이고, 뒤의 학생은 비교적 낮을 것이다 (수업을 듣자마자 모든 걸 깨닫지 않는 이상). 이 예시에서 두번째 전략을 취한 학생은 매우 억울할 것이다. 그러나 이게 현실이다. 시험은 '당일까지'의 이해도를 측량한다. 과제도 마찬가지다.  현실에서는 시험이나 과제 전까지 충분히 시간을 주지 않느냐 반문할 수 있다. 그러나 매 강의는 시간 의존적이다. 오늘 듣는 강의는 필연적으로 지난 수업 일이나 저번 주, 심지어 선수 과목의 내용과 밀접한 연관이있다. 따라서, 당연히도, 오늘 들은 강의 내용을 다음 수업일까지 복습하지 않는다면, 다음 수업일의 강의 내용을 이해하는 게 매우 힘들어지고, 수업 시간에 제대로 이해하지 못하니 복습할 내용과 다시 공부할 내용은 눈덩이처럼 불어난다. 더 심하게는, 수업 시간에는 하나도 이해 못하고 시간을 날린 뒤, 방에 돌아와서 당일 강의록을 보면서 스스로 처음부터 공부해야 할 수 있다. 실제로 KAIST에서도 많은 학생들이 이런 식으로 공부하면서 강의 하나를 이해하는 데에 드는 시간을 두 배 혹은 그...
댓글 쓰기
자세한 내용 보기

이 블로그의 인기 게시물

CS 285 (Deep Reinforcement Learning) 요약 및 정리 (Lecture 2: Supervised Learning of Behaviors)

이미지
  * UC Berkeley CS 285 강의는 David Silver의  UCL Course on RL  강의로 대부분 커버 가능하다. 본 요약 정리 노트에서는 UCL Course on RL에서 다루지 않는 부분만 정리하는 데에 집중한다. This post covers Lecture 2: Supervised Learning of Behaviors . Terminology DL 맥락의 classification 문제는 \(\mathbf{a}_t\)가 단순히 데이터의 ground truth label이고, \(\mathbf{a}_t\)가 \(\mathbf{o}_{t+1}\)에 영향을 안준다는 차이점이 있다. 이에 반해, RL 문제나 기타 sequential decision making 문제는, 현재의 액션이 다음 관측에 영향을 준다. Imitation Learning Nothing but supervised learning Good example만 training dataset에 넣는다면, policy network의 오차 등으로 완벽히 좋은 state paths를 따라갈 수 없고, good example에 나오지 않는 새로운 케이스에 대응하는 법을 배우지 못해 goal을 달성하지 못하게 된다. DAgger: dataset aggregation Learned policy가 실제로 도달한 state 혹은 observation에서 인간이 손수 바람직한 action을 labeling 한다. 다만, 이 방법은 (3) labeling cost가 너무 크고, 자율주행차를 이렇게 훈련시켰다간 (2) 실제로 차량이 몇 번이고 박살 나야 한다. 사람이 운전하는 것과 매우 다른 observation을 줄 때 사람이 제대로 labeling하기 힘든 점도 있다. Why might we fail to fit the expert? Non-Markovian behavior History 전체를 저장하고 모델 트레이닝에 사용하는 건 cost가 너무 크다. Causa...
자세한 내용 보기

시작: 블로그의 방향성

이미지
블로그를 시작하는 이유💬 최근 몇 년 간 기록 의 중요성을 체감했습니다. 2019년 여름, 한 스타트업에서 딥러닝 연구 인턴으로 근무했을 때 매일 업무 내용을 Done/To-do 형식으로 나눠서 연구 일지를 작성해야 하는 소업무가 있었습니다. 그것이 습관이 되어 인턴 이후 대학원 석사 과정에 들어가서도 매일 빠짐없이 일지를 작성했고 학위를 마친 지금도 쭉 이어지고 있습니다.  특히나 제가 속했던 연구실에서는 Done/To-do를 격주에 한 번 발표하는 랩 미팅 시간과, 약 6개월마다 한 번은 연구실 구성원 전체 앞에서 반기 리뷰를 하는 그룹 미팅 시간이 있었기 때문에, 매일 일지를 작성하는 습관은 대학원 생활 내내 큰 도움이 됐습니다. 수업 과제를 할 때도, 보고서를 쓸 때도, 발표 자료를 만들 때도, 과제 제안서를 쓸 때도, 논문을 쓸 때도.... 매일 1분씩 투자해서 개인 슬랙(Slack) 채널에 남겨뒀던 기록들은 항상 큰 힘을 발휘했습니다. 이에 관한 구체적인 경험도 곧 글로 옮길 예정입니다. 본 블로그에서는 제 삶을 개인적으로만 기록했던 것에서 한발짝 더 나아가려 합니다. 석사 학위 과정 중 1년 간 학부생을 대상으로 상담 조교 (counselling assistant) 역할을 맡았었는데, 카톡이나 메일 등 매체의 한계도 있었고 상담 시간도 현실적으로 1시간 정도로 제한적이었기 때문에 도움이 필요한 분들에게 충분히 이야기를 들려드리지 못한 게 아쉬웠습니다. 특히 많은 분들이 '학부 생활을 어떻게 했는지', '어떻게 공부하는지', '대학원 생활은 어땠는지', '교환 학생 때의 경험은 어떤지' 등 몇 마디 말로 다 표현하기 어려운 스토리들을 공통적으로 궁금해해주셨습니다. 그래서 블로그라는 매체를 통해 매일을 기록하면서 저라는 사람의 과거, 현재, 미래를 불특정 다수의 사람들과 나누고자 합니다. 그렇게 쌓인 글들은 제게 희미한 기억에만 의존해서 회상하는 게 아니라 체계적으로 과거를 반추하며 미래를 대...
자세한 내용 보기

기록: UCL Course on RL 요약 및 정리 (Lecture 6: Value Function Approximation)

이미지
This post covers  Lecture 6: Value Function Approximation (davidsilver.uk)   The entire course materials can be found on the following page:  Teaching - David Silver . Lecture Goal Learn how to deal with a large-scale (potentially continuous) state space with RL Learn value function approximation Learn Deep Q-Network (DQN) and batch methods Credit:  Find order of polynomial approximation and LeastSquares for given datapoints Value Function Approximation Lookup table Table store an entry for each lookup index. Value-state Index = \(\forall s \in S\), where \(S\) is a finite and discrete state space Entry = \(V(s)\) Action-state Or every state-action pair \(s, a\) has an entry \(Q(s,a)\) Or every state \(s\) has entries \(Q(s,a)\) for all actions \(a \in A\) So far, we have represented a value function by a lookup table. Large MDPs Memory inefficiency : too many states or actions to store in memory Too slow to learn the value of each state individually Note: neighbor...
자세한 내용 보기