見てから動く vs 見ながら動く

真上の固定カメラで部品を見て、ロボットの手先(緑の十字)を部品の穴(黄色の円)に合わせる

ずれ(実際とモデルの違い)

手先と穴の実際のずれ
-
部品はドラッグで動かせる

「見てから動く」:画像から部品の位置をロボット座標に換算し、その座標へ動く(手先は見ない)。部品を動かすと追従するが、モデルの誤差の分ずれたまま。
「見ながら動く」:画像の中で手先と穴のずれを測り、ずれが 0 になるまで動き続ける。モデルが多少違っていても最後は合う。