Import isaacgym

[yasuohayashibara]

IsaacGymの学習済みモデルをインポートするためのブランチ

[yasuohayashibara]

availableを追加した
ボールが近づかないとキックの行動を選択しないので，無駄な動きが減少したように見える．

available無
IsaacGymSoccer (2440ep (100step reset)+2177ep (1000step reset))

available有
IsaacGymSoccer (2440ep (100step reset)+2177ep (1000step reset))

ボールが目の前に無い場合でもキックをしている何かバグがあるかもしれない．

[yasuohayashibara]

各報酬を表示できるようにした．
学習初期の段階でゴールしなくなっている．
（黒が全体の報酬，ピンクがゴールの報酬）
IsaacGymの環境との違いを確認する．

[yasuohayashibara]

以下のrewardに変更したがやはりgoalしなくなる．

ball_distance_reward = 1.0
goal_reward = 1000.0
velocity_reward = 10.0
out_of_field_reward = -100.0
collision_reward = -1.0
ball_position_reward = 2.0
ball_tracking_reward = 0.1

以下，ゴールの報酬

[yasuohayashibara]

訓練の結果を示す
158epでwebotsがエラーで停止

・120ep(600kstep)までは徐々に上昇しているが，158epでやや低下
・今までの中では最も良い結果

	0	40	80	120	158
0		3 – 2	0 – 2	4 – 1	2 – 5
40	2 – 3		1 – 4	4 – 2	3 – 1
80	2 – 0	4 – 1		5 – 2	2 – 4
120	1 – 4	2 – 4	2 – 5		4 – 1
158	5 – 2	1 – 2	4 – 2	1 – 4

240308_run51.zip

[yasuohayashibara]

未訓練のモデルを使用したのが良くなかったかもしれないと考えて，以下の変更をして学習した．

transformer_0.pt -> transformer_1600.pt
episode_length 300 -> 1000
↑ 相手が強いと中央部分で小競り合いで300では相手ゴールに近づく前に終了するため

GankenKun_webots/controllers/mat_train/runner/base_runner.py

Line 107 in 35a7e5f

self.c_restore("./transformer_0.pt")

GankenKun_webots/controllers/mat_train/mat_train.py

Line 28 in 35a7e5f

"episode_length": 300}

結果に以下となった．

・得点の上昇があまり見られない．
・能力が拮抗して1つの試合が長くなるので，もっと多くのデータを集めて学習したほうが良いかもしれない．
・同じチームでぶつかり合って転倒する様子が頻繁に見られる
　→ 転倒のペナルティを上げたほうが良いかもしれない．

学習前モデルと学習済みモデルで40試合行って以下の通り．
学習前モデル5点　学習済みモデル0点

・学習前モデルの方が強い．

[yasuohayashibara]

転倒のペナルティを上げて学習を行ったが，特に変化はない．
epは300に戻した．

transformer_0.pt -> transformer_1600.pt
collision_reward = -10.0

GankenKun_webots/controllers/mat_train/soccer/soccer.py

Line 190 in 35a7e5f

collision_reward = -1.0

学習前のモデルの方がもたもた感なくゴールしているように見える．