学習ベースの
ロボット制御

模倣学習・強化学習・基盤モデル

大阪大学 中島優作

← シリーズ一覧に戻る

古典的な制御でどこまでできた？

得意（もう実用）
  • 決まった動きの繰り返し（位置制御：溶接・搬送・組立）
  • 一定の力で押す・ならう（力制御：研磨・はめ合い）
  • 測って直す（ビジョン・力センサのフィードバック）
  • 精度・速さ・再現性・安全の保証がしやすい
苦手（学習に期待）
  • 毎回違う物・置き方（家庭、物流のばら積み）
  • 柔らかい物（布・食品・ケーブル）はモデル化が難しい
  • 人が言葉にできないコツ（暗黙知）
  • 長い手順を状況に合わせて組み立てる

数式で書けるところは古典制御、書きにくいところをデータで埋めるのが学習制御

学習制御の 2 本柱

模倣学習 人のお手本（デモ）をまねる 人の操作データ 方策（AI） ◎ 少ないデータで実機で動く　△ お手本以上にはなりにくい 強化学習 試行錯誤して報酬が増える動きを探す 方策（AI） 環境 （多くはシミュレータ） 行動 状態・報酬 ◎ 人を超えられる　△ 試行回数が膨大・報酬設計が難しい

最近は両方を組み合わせることも多い（模倣で初期化 → 強化学習で仕上げ）

模倣学習のデータと動かし方

① 人が操作したデータ（時刻ごとの組） 時刻 t = 1 画像＋関節角 q1 行動：次の関節角 q2 時刻 t = 2 画像＋関節角 q2 行動：次の関節角 q3 時刻 t = 3 画像＋関節角 q3 行動：次の関節角 q4 … 観測（入力）と、そのとき人が出した行動（正解）のペアを何十〜何百回分 ② 学習 方策（ニューラルネット） 観測 → 行動 を当てるように学ぶ ③ 実行（ずっと繰り返す） カメラ・関節角 方策 位置制御（JTC など） ロボットが動く 動いた結果をまた見る（数十 Hz で繰り返す）

「画像を見て次の関節角を答える」教師あり学習。答えはいつもの位置制御へ

模倣学習の種類

手法考え方長所短所
行動クローニング（BC）「この状態ならこの行動」を教師あり学習いちばん簡単。最近の主流（ACT、Diffusion Policy、VLA）少しずれると誤差が積み重なる（共変量シフト）
DAggerAI に動かせ、ずれた場面で人が正解を付け足すずれからの立て直しを学べる人がずっと付き添う必要
逆強化学習（IRL）デモから報酬（何を目指しているか）を推定し、強化学習状況が変わっても目的に沿って動ける計算が重い
GAIL「人のデモと見分けがつかない動き」を敵対的に学ぶ報酬を明示しなくてよい試行が多く、学習が不安定

DAgger: Ross et al. 2011 / IRL: Ng & Russell 2000, Abbeel & Ng 2004 / GAIL: Ho & Ermon 2016

行動クローニングの 2 つの壁

① 誤差が積み重なる お手本 少しずれる → 見たことのない状態 → さらにずれる ② お手本が何通りもある（多峰性） 障害物 上と下を平均すると、真ん中でぶつかる
  • ① の対策：行動をまとめて予測（Action Chunking：ACT）、DAgger でずれを補う
  • ② の対策：「平均」ではなく分布ごと表す生成モデル（Diffusion Policy）

ACT（ALOHA）

  • 安価な双腕リーダ・フォロワ ALOHA でデモを集める（2 万ドル以下）
  • Transformer で数十ステップ先までの行動をまとめて予測（Action Chunking）
  • 約 10 分のデモで、6 つの細かい作業を 80〜90% 成功
  • 移動台車に載せた Mobile ALOHA（2024）で料理・片付けまで

▶ ALOHA / ACT プロジェクトページ（動画あり）
▶ Mobile ALOHA: Your Housekeeping Robot ▶ 遠隔操作で 3 品の料理 ▶ 失敗集

Zhao et al., Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, RSS 2023 / Fu et al., Mobile ALOHA, 2024

Diffusion Policy

ノイズ 少しずつ ノイズ除去 なめらかな行動列 カメラ画像などを条件にして、画像生成 AI と同じしくみで「行動」を生成する
  • お手本が何通りあっても、どれか 1 つを選んできれいに出せる（多峰性に強い）
  • 4 つのベンチマーク・15 タスクで、従来法より平均 46.9% 向上
  • π0 などの基盤モデルも、行動の出力に似た考え方（フローマッチング）を使う

▶ プロジェクトページ（動画あり） ▶ 日本語の論文解説（松尾・岩澤研 DL 輪読会）

Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion, RSS 2023

強化学習のデータと動かし方

① シミュレータで何千台も同時に試す 最初はでたらめに動く → だんだん上手に ② 1 台ごとのやりとり（1 ステップ） 方策 ニューラルネット シミュレータ 物理で 1 ステップ進める 行動 a：関節の目標角 状態 s：関節角・速度・物体の位置 報酬 r：その行動がどれだけ良かったか 報酬の例（物をつかむ）：手先が物に近づく ＋1、つかめた ＋10、 机にぶつかる −5、関節を速く動かしすぎ −0.1 → 合計の報酬が増えるように方策を少しずつ直す（データは自分で作る） ③ 学習後：方策を固定して実機へ 方策（固定） 関節の位置制御（PD） 実機 Sim-to-Real

お手本の代わりに報酬の決め方がすべて。データは自分で試して集める

強化学習の種類

分類代表例考え方ロボットでは
モデルフリー（オンポリシー）PPO今の方策で集めたデータだけで少しずつ更新。安定シミュレータで何千台も並列に動かして学ぶ（歩行・手の器用さ）
モデルフリー（オフポリシー）SAC過去のデータも使い回す。少ない試行で学べる実機で直接学ぶときに向く
モデルベースDreamer環境のモデル（世界モデル）を学び、その中で計画・練習試行回数を減らせる
オフライン強化学習CQL など集めたデータだけで学ぶ（新たに試行しない）デモ・ログを活用。模倣学習との中間

ロボットの実用では「シミュレータ × PPO で学び、実機へ移す」が主流

PPO: Schulman et al. 2017 / SAC: Haarnoja et al. 2018 / Dreamer: Hafner et al. 2020 / CQL: Kumar et al. 2020

Sim-to-Real

シミュレータで学んで実機へ

  • 実機で何百万回も試せない → シミュレータで大量に試行錯誤
  • そのままだと実機とのずれ（Sim-to-Real ギャップ）で失敗 → 摩擦・質量・見た目などをわざとばらつかせて学ぶ（ドメインランダム化）
  • 得意：歩行、手の中で物を回すなど、人がお手本を見せにくい動き
  • 苦手：接触・柔らかい物はシミュレーションがずれやすい、報酬の設計が難しい

▶ OpenAI: Learning Dexterity（2018） ▶ ロボットハンドでルービックキューブ（2019） ▶ NVIDIA DeXtreme（2022）

シミュレータの前提はシミュレータとの接続のスライドも参照

最近の流れ（時系列）

201620182022 2023202420252026 強化学習・Sim-to-Real 画像から 直接制御 Dactyl QT-Opt 四足歩行の RL（2019〜） RT-1 大規模 BC ACT / ALOHA Diffusion Policy Mobile ALOHA UMI 模倣学習 基盤モデル（VLA）・データセット RT-2（VLA） Open X-Embodiment Octo / OpenVLA π0 π0.5 / GR00T N1 Gemini Robotics Gemini Robotics 2

強化学習（シミュレータ）→ 模倣学習（安い遠隔操作でデータ集め）→ 大量のデータで基盤モデルへ

データをどう集めるか

方法例特徴
遠隔操作ALOHA、GELLO、バイラテラルロボットで実際にできる動きが集まる。力も取るならバイラテラル（前のスライド）
手持ちの道具UMIカメラ付きグリッパを人が持って作業 → ロボットなしでどこでも集められる
シミュレーションIsaac Sim / MuJoCo などいくらでも作れるが、実機とのずれがある
人の動画一人称視点の動画など量は膨大。ただし行動（関節角・力）は入っていない
  • みんなのデータを集める：Open X-Embodiment（22 種類のロボット、100 万以上の軌道）
  • すぐ試せる：Hugging Face LeRobot（データ形式・学習コード・安価なアーム）

▶ UMI 論文紹介 ▶ UMI ▶ GELLO ▶ Open X-Embodiment ▶ LeRobot

基盤モデル：VLA

Vision-Language-Action（画像と言葉から行動を出す）

カメラ画像（Vision） 「コップを棚に」 言語の指示（Language） VLA Web で学んだ言語・画像モデル ＋ ロボットのデータで追加学習 行動（Action） 手先・関節の指令
  • RT-2（2023）：言語・画像モデルに行動を「単語」として出させる → 見たことのない指示にもある程度対応
  • OpenVLA（2024）：公開された 7B パラメータの VLA。Open X-Embodiment で学習
  • π0 / π0.5（2024〜25）：洗濯物たたみなど長い作業。行動はフローマッチングでなめらかに出力
  • Gemini Robotics（2025〜）、GR00T N1（NVIDIA、人型向け）

▶ RT-2 ▶ OpenVLA ▶ π0.5（Physical Intelligence 公式） ▶ Introducing Gemini Robotics 2 ▶ Octo

コラム実験の自動化から見た VLA

VLA が目指すもの
  • 言葉で指示すれば、何でもそれなりにやってくれる
  • 家庭・物流など、毎回違う環境に強い
  • 動きは毎回少しずつ違う。成功率は 100% ではない
実験の自動化で大事なもの
  • 毎回同じ動き（繰り返し再現性）＝ 実験条件をそろえる
  • 失敗したときなぜ失敗したかを説明できる
  • 決まった手順を正確に何百回も
  • 筆者の考え：実験では決まった動きは古典的な制御（位置・力制御）で再現性を確保したい
  • 学習は「毎回違う」部分（置き方のばらつき、柔らかい試料など）に絞って使う方が実験向き
  • とはいえ VLA は今いちばん勢いのある流れ。動向は追っておく価値がある

展望：何が見えてきたか

古典制御学習制御
できること決まった動きを高精度・高速に繰り返す。力の制御、安全の保証毎回違う物、柔らかい物、長い手順、言葉の指示
まだ難しいモデル化しにくい対象・環境成功率・再現性、細かい力のやりとり、大量のデータ、失敗の説明
役割分担下の層：位置・力・インピーダンス制御で速く確実に追従上の層：何をどう動かすかを状況に合わせて決める

学習が古典制御を置き換えるというより、上に学習・下に古典制御の組み合わせが現実的

動画・プロジェクトページ集

赤＝YouTube 動画、青＝プロジェクトページ（多くは動画あり）

まとめ

  • 学習制御の 2 本柱：模倣学習（お手本をまねる）と強化学習（試行錯誤）
  • 模倣学習は行動クローニングが主流。ACT・Diffusion Policy で弱点を克服
  • 強化学習はシミュレータで学んで実機へ（歩行・手の器用さ）
  • 今は大量データでVLA（基盤モデル）へ。データ集めが鍵
  • 実験の自動化では、再現性は古典制御、ばらつきは学習の分担が現実的

← シリーズ一覧に戻る