生成AIの生産性効果を実験で測った代表的な研究の一つが、NoyとZhangによる文章作成業務の実験です。学術誌Scienceに掲載されたこの研究について、設計と結果を整理します。

実験の設計

研究では、大学教育を受けた専門職453人を対象に、職種に関連した文章作成課題を行ってもらいました。参加者の一部がChatGPTを利用できる条件に割り当てられ、所要時間と、評価者が付けた成果物の質が比較されました。課題は20〜30分程度の、中程度の専門性を要する文章作成です。

結果：時間は40％短縮、質は18％向上

公表された結果では、ChatGPTを利用したグループは平均で所要時間が40％短くなり、評価された質は18％高くなりました。また、もともとの文章能力による差が縮小する傾向も報告されています。これらの数字は、この実験の課題条件における結果です。

限界として著者らが挙げる点

実験の課題は事実確認を要しない種類の文章が中心で、正確性が厳しく問われる実務文書にそのまま当てはまるかは検証されていません。また、単発の課題での効果であり、継続的な業務全体の生産性を測ったものではありません。実験後の追跡では、利用経験が実際の仕事での利用につながったことも報告されています。

短時間の文章作成では大きな効果が測られた一方、条件の違いが結果を左右することも示されています。業務への当てはめでは、課題の性質を確認することが前提になります。

この研究を読む際の前提

研究結果を実務に参照する際は、対象となった職種、課題の種類、使用されたモデルの時期という3つの条件を確認することが前提になります。実験や調査で測られた効果は、その条件のもとでの平均的な傾向であり、個々の企業や従業員の結果を直接予測するものではありません。また、短期の課題で測られた効果と、継続的な業務や組織全体の成果との間には隔たりがあることも、複数の研究を並べると見えてきます。本記事で紹介した数字は各研究の公表時点の情報に基づきます。最新の研究動向や原典の記述は、出典の一次情報をご確認ください。こうした前提を押さえた上で読むことで、数字の大きさだけに引っ張られない形で研究を参照できます。

なお、本記事は公表情報の整理を目的としたものであり、特定の製品や手法の導入を推奨するものではありません。条件の異なる組織への当てはめについては、各組織の業務内容や体制に照らした個別の確認が必要です。編集部では、続報や新たな公表があった場合は、その都度内容を確認してまいります。

出典：Noy & Zhang「Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence」Science 381巻（2023年7月）。https://doi.org/10.1126/science.adh2586

※本記事の数字は各出典の公表時点の情報に基づきます。最新の内容は出典の一次情報をご確認ください。

あわせて読みたい