すべての人に一次情報を
Pythonコードを書いて実行するロボット制御エージェントの自己改善ループでは、機械学習者が「成功基準」を見えるかどうかだけで設定が変わります。学習者は各実行結果をもとにライブラリを改訂し、改訂が失敗した場合は元に戻します。実験は、開発用5つのレイアウトを用い、学習フェーズと評価フェーズに分けて行われました。

成果の比較では、基準に制限された16タスクにおいて、成功基準を提示した設定(Criteria Exposure, CE)の成功率は51.6%でしたが、提示しなかった設定(w/o CE)では27.8%に留まりました。一方、指示自体に忠実な9タスクでは両設定でほぼ同じ成功率(52.5%と52.2%)でした。
| Tasks | Empty library ℒ∅ | w/o CE | w/ CE |
| All (25) | 24.6 | 47.8 (+23.2) | 62.0 (+37.4) |
| Criteria-limited (16) | 8.4 | 27.8 (+19.4) | 51.6 (+43.2) |
| Faithful (9) | 53.3 | 83.3 (+30.0) | 80.6 (+27.3) |
CEによる効果は、基準が指示と異なるタスクに限定されます。基準がわずかに変更されただけでは、性能向上は観測されませんでした。さらに、CEで学習したライブラリは、新しいタスクや別のベンチマークに移行すると性能が低下し、恩恵は失われました。
この研究は、エージェントに正確な検証ルールを示すと、特定の基準に対するコード生成が改善されることを示していますが、一般的な問題解決能力や新規環境への転移性は向上しないことを明らかにしています。