生成AIが実際の職場で生産性を変えるかを、大規模な現場データで検証した研究として知られるのが、Brynjolfssonらの「Generative AI at Work」です。本記事では、その研究設計と結果を、一般読者向けに整理します。
研究の設計:5,000人超の現場データ
研究では、米国の大手ソフトウェア企業のカスタマーサポート担当者5,179人を対象に、生成AIによる会話支援ツールの導入効果を分析しました。ツールは対応中の担当者に回答案を提示する形で使われ、生産性は1時間あたりの解決件数で測られました。段階的な導入のタイミングを利用して、効果を推定する設計です。
結果:平均14%、新人では34%
分析の結果、ツールへのアクセスにより解決件数は平均で14%増え、新人やスキルの低い担当者では34%の改善が見られました。一方、経験豊富でスキルの高い担当者への影響は小さかったと報告されています。顧客の感情指標や従業員の定着にも改善が見られたと著者らは述べています。これらの数字は、2023年に公表されたワーキングペーパー時点のものです。
読み方の注意点
対象は1社のサポート業務であり、他の職種や企業にそのまま当てはまるとは限りません。また、長期的なスキル形成や賃金への影響は、この研究の範囲外であると著者らも述べています。効果の大きさだけでなく、誰に効果が集中したかという分布が、この研究の重要な発見です。
新人への効果が大きいという結果は、ベテランの知見がツールを介して共有される仕組みとして解釈されています。研修や立ち上がり支援との関係で参照されることの多い研究です。
この研究を読む際の前提
研究結果を実務に参照する際は、対象となった職種、課題の種類、使用されたモデルの時期という3つの条件を確認することが前提になります。実験や調査で測られた効果は、その条件のもとでの平均的な傾向であり、個々の企業や従業員の結果を直接予測するものではありません。また、短期の課題で測られた効果と、継続的な業務や組織全体の成果との間には隔たりがあることも、複数の研究を並べると見えてきます。本記事で紹介した数字は各研究の公表時点の情報に基づきます。最新の研究動向や原典の記述は、出典の一次情報をご確認ください。こうした前提を押さえた上で読むことで、数字の大きさだけに引っ張られない形で研究を参照できます。
なお、本記事は公表情報の整理を目的としたものであり、特定の製品や手法の導入を推奨するものではありません。条件の異なる組織への当てはめについては、各組織の業務内容や体制に照らした個別の確認が必要です。編集部では、続報や新たな公表があった場合は、その都度内容を確認してまいります。
出典:Brynjolfsson, Li & Raymond「Generative AI at Work」NBER Working Paper 31161(2023年4月公表、後に学術誌掲載)。https://www.nber.org/papers/w31161
※本記事の数字は各出典の公表時点の情報に基づきます。最新の内容は出典の一次情報をご確認ください。
あわせて読みたい
- 「論文紹介:文章作成業務でChatGPTは時間と質をどう変えたか」 https://axdx.aohalab.ai/#/article/62
- 「レポート紹介:Anthropic Economic Indexが示す、Claude利用データから見るAIの仕事への広がり」 https://axdx.aohalab.ai/#/article/86