Turtlebot3 Machine Learning

Description

로보티즈의 공식 튜토리얼에서 시작하였습니다.

모든 코드의 환경은 ROS1을 기반으로 하며 nn model들은 PyTorch를 이용하여 CUDA toolkit을 사용함을 기준으로 작성되었습니다.

추가적으로 기본 빌더(catkin_make)를 사용하지 않고 catkin_tools를 사용하였으며, 아래 설명에서 빌드 과정은 이를 기반으로 함을 밝힙니다.

아래에 코드 실행 순서를 작성하였습니다. 기본적으로 Ubuntu base python (20.04 python=3.8)을 이용하며 필요한 파이썬 라이브러리는 셀프로 설치해주세요.

torch torchvision torchaudio tqdm matplotlib seaborn numpy 

Algorithms

1. Deep Q-Learning
2. Trust Region Policy Optimization(developing)
3. Generative Adversarial Imiataion Learning(developing)
4. Q-Learning with Diffusion Policy(not implemented)

Possible Errors

1. 노드 파일들의 속성을 실행가능하도록 해주세요. 안 그러면 아래와 같은 에러를 얻게 됩니다.

   click to expand

   

2. catkin_make와 catkin build를 혼동하였을 수 있습니다. (참고 링크)

TODO

• (DQN) 알고리즘의 성능을 plot하기
• (GAIL) gail의 env 겹치는 것 고치기(service에 대해서 공부해야함)
• (TRPO) "steps" dosent go 0 at early end.
• (TRPO) eval 코드 부재
• (TRPO) 보상함수 개선 필요