知能機械工学科

山田研究室の研究内容

 自律的な学習法である強化学習アルゴリズム(特にモジュール型強化学習法)の開発とロボット制御への適用を研究しています。ミニロボット(Khepera, Hemisson, e-puck)などのロボットの制御の強化学習による自律的な学習の研究を行っています。

KheperaロボットHemissonロボットe-puckロボット

強化学習とは?

制御が成功したかどうかだけを手がかりに、ロボットが自律的に様々な制御を試行錯誤し、成功するための制御を学習していくのが強化学習です。強化学習は機械学習の一つの方法として提案されましたが、近年の研究によると、情動に関係する大脳基底核が、強化学習と同様に制御結果の予測を行っていることが分かり、脳でも強化学習が行われていると考えられています。

デジタル・アナログ協調型強化学習

アメフラシという動物の神経系を研究した結果、デジタル出力の運動ニューロンとアナログ出力の運動ニューロンの両方があことが分かりました。この結果を踏まえ、デジタル出力とアナログ出力の両方を持つ強化学習法を提案しました。デジタル出力ニューロンは素早く学習するために使われ、アナログ出力ニューロンは細かく精密な制御を学習するために使われることが分かりました。
参考文献: S. Yamada, M. Nakashima, S. Shiono (1998) "Reinforcement learning to train a cooperative network with both discrete and continuous output neurons", IEEE Trans. Neural Networks, vol. 9, pp. 1502-1508 [Abstract]
学習システム学習された動きと学習曲線の比較

ハイブリッド型強化学習

ある程度制御ができるのに、それを使わないで全て最初から学習するのは効率がわるいものです。使える制御があるなら、それを生かそうという発想で、既知の制御と強化学習制御を組み合わせたハイブリッド型強化学習を提案しました。竹馬型二足歩行ロボットモデルに適用し、既知制御で制御できる平地では既知制御、できない坂道では強化学習制御が用いられ、効率のよい制御が学習できることが分かりました。
参考文献: S. Yamada, A. Watanabe, M. Nakashima (1998) "Hybrid reinforcement learning and its application to biped robot control", Advances in NIPS, vol. 10, pp. 1071-1077
竹馬型二足歩行ロボット学習された竹馬型二足歩行ロボットの動き(シミュレーション)

モジュール型強化学習

制御が複雑になると学習が困難になります。モジュールに分けて学習した方がうまく学習できるのではないか、そんな発想でモジュール型強化学習を提案しました。これは、脳では領野というモジュールに分かれて処理が行われていることを模擬しようとしたものでもあります。複数のセンサ情報を処理する制御では、各センサの情報を別々のモジュールで処理し、どのモジュールの制御を使用するかを選択モジュールが選択するというモジュール型強化学習法を提案しました。赤外線の距離センサ、光センサ、一次元CCDセンサを用いる必要のある制御にモジュール型強化学習を適用し、学習できることが分かりました。
参考文献: 山田訓(1998)「モジュール型強化学習」信学技報, NC97-119

学習されたKheperaロボットの動き(シミュレーション)

大学院情報

お問い合わせ

webadmin(at)are.ous.ac.jpに、お問い合わせ内容等をお送りください。