👋 인삿말

안녕하세요, 제딴엔 RL을 하고 있다고 주장 하고 있는 정규석입니다.

이 느슨한 한국 RL계에 긴장을 주기 위해… 가 아니라 연구적으로 교류하고 싶어서 참여하게 되었습니다.

현재 마키나락스 에서 전문연구요원으로 근무중에 있습니다.

📜 간단한 이력

• 텐서플로와 유니티 ML-Agents로 배우는 강화학습 집필에 참여했습니다.
  • 학부생 때부터 RL에 관심이 많아서 페이스북 그룹 RL-Korea 에서 진행한 Unity ML-Agent 관련 소모임에 참여하면서 이런 좋은 기회를 잡을수 있었습니다.
• 연세대 전기전자 공학과 바이오 사이버네틱스 연구실에서 석사를 마쳤습니다.
• 현재는 마키나락스 에서 전문연구요원으로 근무중입니다.
  • PCB 소자 자동배치 프로젝트 진행

🤩 현재 관심사

• 강화학습

  • Sample Efficiency 개선.

    • 안 그러면 저희는 평생 시뮬레이터 최적화 개발하는 삶을 살아야 합니다.

  • Computational Efficiency 개선.

    • 여러분. 제발 RL 하면 JAX 합시다.

    RL하면JAX합시다.pptx

  • 서치 & 플래닝 알고리즘과 결합

    • 트리 서치 : MCTS, AlphaZero, MuZero…
    • 그래프 서치 : A*, Q* 등등…
• 로보틱스
  • 원래 학부 초기에는 로보틱스를 하고싶은 꿈을 가지고 있었지만. 기구학적 특성에 맞춰 제어기를 하나하나 만드는게 맞나? 싶어서 RL 쪽으로 틀었습니다. 하지만 아직도 로보틱스는 제 마음의 고향입니다.

👾 특별한 경험

• 첫 코딩을 게임으로 배웠습니다.
• 손수 짠 코드로 GPU util 100% 달성.

⚔️ 현재 하고 있는 것

• RL/JAX 관련 개인 프로젝트를 두 개 정도 굴리고 있습니다.
  • jax-baseline : RL 하시면 대부분 아실 stable baseline의 jax 버전 마이너 카피 입니다. 최신 알고리즘이나 그런 것 들을 한 곳에 구현하는 낙서 장 정도로 쓰고 있습니다.
  • JAxtar : 석사 논문 이랍시고 썼던 게 스스로는 아직 마무리가 안되었다고 느껴 지금까지도 붙잡고 있는 레포 입니다. A* 와 같은 그래프 서치 알고리즘과 RL, ML 의 결합할 때 발생하는 통신 보틀넥 을 원천적으로 제거하는 걸 목표로 작성했습니다.
    • Xtructure : JAX 에서 복잡한 데이터를 정의하고 그걸로 이루어진 데이터구조 를 만들기 위한 레포 입니다. 원래는 JAxtar 작성하면서 필요한 내용들이라 작성하다가, 재사용성을 높이고 개별 컴포넌트 별로 최적화를 진행하기 위해 분리했습니다.
    • PuXle : 위와 비슷하게 여러 퍼즐들을 미리 정의하고 공통된 API로 정리하기 위해 작성했습니다.
  • 아마… 하나 더 늘어날지도…?

🏄‍♀️ 취미

요즘 들어선 출근해서 코딩하고 퇴근해서 코딩하고 주말에 코딩하고 잘 때까지 코딩합니다.

그냥 RL 알고리즘 / JAX 코드 작성하고 쥐꼬리 만한 스타 모으는 게 재밌어서 그렇습니다.

📜 롤링 페이퍼