すべての人に一次情報を
1.既存の課題作成では、単純なチェックリストが原因で思考が単一に限定されやすいという問題があった。CodeSpecWeaveは、実際の開発者から得た種子をもとに、相互依存する複数の仕様を備えた課題を合成するフレームワークである。
2.合成プロセスは、①「合成エージェント」がフレームワークに含まれるリポジトリを走査し、要件と実行可能なテストを同時に構築する。②「レビューエージェント」は、複数のAIモデルが生成した実装とそれに対するテスト結果を検証し、テストが不十分であるものや妥当な実装を却下するケースを除外する。
3.この手法で4,670件の訓練課題を、2,865件のソフトウェアリポジトリから生成した。強化学習でこれらの課題に訓練を行った結果、DeepSWE‑v1.1ベンチマークにおいて基準モデルを顕著に上回る性能を示した。さらに、人手でレビューした100件のタスクと1,044件の仕様からなるCodeSpecWeave‑Benchを作成し、主要モデルの共通失敗モードを可視化した。
4.ただし、合成課題を利用して強化学習でモデル性能を向上させるためには、膨大な計算資源が必要である。各課題はコンテナイメージを必要とし、Kubernetes Pod内で実行されるため、並列に多くのコンテナを管理できるインフラが不可欠である。