プログラミング支援AIの効果を測った初期の代表的な実験として、GitHub Copilotに関する統制実験が知られています。本記事では、その実験の設計と結果、および後の研究で示された異なる結果との関係を整理します。

実験の設計と結果

2022年に実施されたこの実験では、プロの開発者95人をCopilotを使う群と使わない群に分け、JavaScriptでHTTPサーバーを実装する課題の所要時間を比較しました。使う群の平均所要時間は1時間11分、使わない群は2時間41分で、55％速く完了したと報告されています。完了率も使う群の方が高い結果でした。

数字を読む際の前提

この55％という数字は、仕様が明確な単一の課題における結果です。開発業務全体の生産性が同じ割合で上がることを示すものではありません。また、実験は製品を提供する企業側の研究として実施されたものである点も、出典として明記されています。

その後の研究が示した幅

後述の複数企業での実地実験では、より小さいながらも正の効果が報告される一方、熟練開発者が既存の大規模なコードベースで作業した別の実験では、AI利用でかえって時間がかかったという結果も公表されています。課題や経験によって結果が大きく異なることが、研究の蓄積から見えてきています。

初期実験の数字は、その条件とともに理解することが重要です。単一の数字ではなく、複数の研究を並べて読むことが、現在の知見の姿に近づきます。

なお、本記事は公表情報の整理を目的としたものであり、特定の製品や手法の導入を推奨するものではありません。条件の異なる組織への当てはめについては、各組織の業務内容や体制に照らした個別の確認が必要です。編集部では、続報や新たな公表があった場合は、その都度内容を確認してまいります。

研究を並べて読むことの意味

この初期実験は、その後に続く複数の研究と合わせて読むことで位置づけが明確になります。条件の異なる実験で異なる結果が出ることは、研究の失敗ではなく、効果が現れる条件の範囲を示す情報です。対象者の経験、課題の明確さ、既存のコードや業務への習熟度といった条件をそろえて比較すると、結果の違いにも一定の説明がつくようになります。実務でツールを評価する際も、単一の試行の印象ではなく、条件を記録した上で複数の業務で試す進め方が、こうした研究の蓄積からは読み取れます。本記事の数字は2022年時点の実験に基づくため、現在のツールへの直接の当てはめはできません。

出典：GitHub公式ブログ「Research: Quantifying GitHub Copilot's Impact on Developer Productivity and Happiness」（2022年9月）。https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/

※本記事の数字は各出典の公表時点の情報に基づきます。最新の内容は出典の一次情報をご確認ください。

あわせて読みたい