GPT-4背后的開發(fā)者：七大團隊，三十余位華人（1）

始于谷歌，發(fā)跡于 OpenAI，這是很多 GPT-4 貢獻者的職業(yè)軌跡。

這個星期，OpenAI 大模型 GPT-4 的發(fā)布讓全球科技圈的技術(shù)競爭進入了白熱化。幾天之內(nèi)，ChatGPT、必應(yīng)搜索和 Microsoft 365 相繼接入 GPT-4，微軟的 AI 應(yīng)用瞬間比競爭對手拉開一個身位，甚至有人說，新的工業(yè)革命開始了。
一方面我們被 GPT-4 的效果所震撼，一方面我們也迫不及待的想要了解背后的技術(shù)，好奇它的訓(xùn)練方法、使用的算力等。
但遺憾的是，OpenAI 并不 Open。在公開的論文（其實更像技術(shù)報告）中，OpenAI 明確地說，GPT-4 模型使用 RLHF 精調(diào)外，不會公開任何技術(shù)細節(jié)。

鑒于 GPT-4 等大型模型的競爭性與安全影響，本報告不包含有關(guān)架構(gòu)（包括模型大?。?、硬件、訓(xùn)練計算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等更多詳細信息。
不過，在此報告中，OpenAI 詳細列出了貢獻者及其負(fù)責(zé)的工作內(nèi)容。這值得我們細致研究。這幾百人的貢獻者名單與分類，能讓我了解到 GPT-4 的成功背后包含了哪些部門、技術(shù)分枝的努力。
在這篇文章中，我們對有代表性的貢獻者進行了盤點，期待能為讀者帶來啟發(fā)。
研發(fā)人員占絕大多數(shù)
從組織架構(gòu)的設(shè)置上看，GPT-4 幕后的研發(fā)團隊大致可分為七個部分：預(yù)訓(xùn)練（Pretraining）、長上下文（Long context）、視覺（Vision）、強化學(xué)習(xí) & 對齊（RL & alignment）、評估 & 分析（Evaluation & analysis）、部署（Deployment），以及其他貢獻者（Additional contributions）。
預(yù)訓(xùn)練部分的工作細分為：

• 計算機集群擴展（Compute cluster scaling）
• 數(shù)據(jù)（Data）
• 分布式訓(xùn)練基礎(chǔ)設(shè)施（Distributed training infrastructure）
• 硬件正確性（Hardware correctness）
• 優(yōu)化 & 架構(gòu)（Optimization & architecture）
• Training run babysitting

長上下文部分的工作細分為：

• 長上下文研究（Long context research）
• 長上下文內(nèi)核（Long context kernels）

視覺部分的工作細分為：

• 架構(gòu)研究（Architecture research）
• 計算機集群擴展（Compute cluster scaling）
• 分布式訓(xùn)練基礎(chǔ)設(shè)施（Distributed training infrastructure）
• 硬件正確性（Hardware correctness）
• 數(shù)據(jù)（Data）
• 對齊數(shù)據(jù)（Alignment Data）
• Training run babysitting
• 部署 & 后訓(xùn)練（Deployment & post-training）

強化學(xué)習(xí) & 對齊部分的工作細分為：

• 數(shù)據(jù)集貢獻（Dataset contributions）
• 數(shù)據(jù)基礎(chǔ)設(shè)施（Data infrastructure）
• ChatML 格式（ChatML format）
• 模型安全（Model safety）
• Refusals
• 基礎(chǔ) RLHF 和 InstructGPT 工作（Foundational RLHF and InstructGPT work）
• Flagship training runs
• 代碼功能（Code capability）

評估 & 分析部分的工作細分為：

• OpenAI Evals 庫
• 模型等級評估基礎(chǔ)設(shè)施（Model-graded evaluation infrastructure）
• 加速預(yù)測（Acceleration forecasting）
• ChatGPT 評估
• 能力評估（Capability evaluations）
• 編碼評估（Coding evaluations）
• 真實世界用例評估（Real-world use case evaluations）
• 污染調(diào)查（Contamination investigations）
• 指令遵循和 API 評估（Instruction following and API evals）
• 新功能評估（Novel capability discovery）
• ……

細讀貢獻者名單，不難發(fā)現(xiàn)，GPT-4 項目團隊的成員通?！干砑鏀?shù)職」。對于希望追趕 ChatGPT 的科技公司來說，OpenAI 提供的部門架構(gòu)樣板提供了一些可以學(xué)習(xí)的思路。另外，它對于 AI 領(lǐng)域人才的未來發(fā)展方向或許也有一些啟示。
在 ChatGPT 發(fā)布之后，OpenAI 在人才招聘方面也做出了一些調(diào)整，招募了數(shù)十名前谷歌和 Meta 員工來創(chuàng)建人工智能聊天機器人。
在 OpenAI 上，谷歌作為「硅谷黃埔軍?！沟拿^算是坐實了：根據(jù) LeadGenius 和 Punks & Pinstripes 的數(shù)據(jù)顯示，該公司的 300 多名員工（數(shù)據(jù)截止到 2023 年 1 月）中有許多來自谷歌和 DeepMind 的母公司 Alphabet。數(shù)據(jù)顯示，OpenAI 目前雇傭了約 59 名谷歌前員工和約 34 名 Meta 前員工，同時包括幾名蘋果和亞馬的前遜員工。

鑒于 OpenAI 在 GPT-4 發(fā)布的第一時間就公開了所有貢獻者名單，機器之心整理了一部分參與工作的華人學(xué)者。如果遺漏，歡迎補充。
預(yù)訓(xùn)練組
Trevor Cai
Trevor Cai 是 GPT-4 項目中吞吐量團隊的負(fù)責(zé)人。Trevor Cai 本碩畢業(yè)于南加州大學(xué)，2022 年 3 月加入 OpenAI。在加入 OpenAI 之前，Trevor Cai 曾在 DeepMind 工作近 5 年，擔(dān)任軟件工程師。
袁啟明

袁啟明（Qiming Yuan）是 GPT-4 項目數(shù)據(jù)集來源和處理團隊的負(fù)責(zé)人。袁啟明本科畢業(yè)于清華大學(xué)，碩士畢業(yè)于得克薩斯大學(xué)奧斯汀分校，2018 年加入 OpenAI。此前，袁啟明曾在微軟工作近三年。
Che Chang
Che Chang 作為 OpenAI 的副總法律顧問參與了 GPT-4 的研發(fā)，他博士畢業(yè)于美國西北大學(xué)，2021 年加入 OpenAI，此前在 AWS 領(lǐng)導(dǎo)了人工智能 / 機器學(xué)習(xí)和市場業(yè)務(wù)的法律團隊。最近一段時間，OpenAI 的法律團隊還在招聘 AI 產(chǎn)品顧問。
歐陽龍
歐陽龍 2019 年加入 OpenAI，擔(dān)任研究科學(xué)家。Long Ouyang 本科畢業(yè)于哈佛大學(xué)，博士畢業(yè)于斯坦福大學(xué)，曾在斯坦福大學(xué)任博士后研究員。歐陽龍也參與研發(fā)了 ChatGPT 相關(guān)的技術(shù)項目，他還是 InstructGPT 論文的第一作者。
翁麗蓮

翁麗蓮（Lilian Weng）是 OpenAI 人工智能應(yīng)用研究的負(fù)責(zé)人，2018 年加入 OpenAI，在 GPT-4 項目中主要參與預(yù)訓(xùn)練、強化學(xué)習(xí) & 對齊、模型安全等方面的工作。
Tao Xu
Tao Xu 2019 年加入 OpenAI，先后畢業(yè)于北京大學(xué)、康奈爾大學(xué)。Tao Xu 曾在微軟的必應(yīng)機器學(xué)習(xí)研究組工作四年。
Jie Tang

Jie Tang 在加州大學(xué)伯克利分校獲得計算機科學(xué)博士學(xué)位，導(dǎo)師是 Pieter Abbeel。加入 OpenAI 前，他曾在初創(chuàng)公司和 Dropbox 工作約四年時間。Jie Tang 本科就讀于哈佛大學(xué)，2008 年獲得計算機科學(xué)和經(jīng)濟學(xué)學(xué)士學(xué)位。
Ben Wang
Ben Wang 目前是賓夕法尼亞大學(xué)本科生，2021 年加入 OpenAI。Ben Wang 參與了 GPT-4 項目的預(yù)訓(xùn)練和長上下文方面的工作。
視覺組
Mark Chen

Mark Chen 2018 年加入 OpenAI，任研究科學(xué)家，畢業(yè)于麻省理工學(xué)院（MIT）。他參與了 GPT-4 項目中視覺方面的工作。
Casey Chu
Casey Chu2020 年加入 OpenAI，畢業(yè)于斯坦福大學(xué)計算數(shù)學(xué)專業(yè)。Casey Chu 的主要研究方向是多模態(tài) AI 系統(tǒng)，他在 GPT-4 項目中主要參與視覺方面的工作。
胡繩麗

胡繩麗（Shengli Hu）2022 年加入 OpenAI，她碩士畢業(yè)于復(fù)旦大學(xué)、博士畢業(yè)于康奈爾大學(xué)。她的研究興趣在于社會科學(xué)、計算語言學(xué)、計算機視覺和語音的跨學(xué)科研究。胡繩麗曾在自然語言處理、計算機視覺、語音和應(yīng)用統(tǒng)計方面的頂級會議和期刊上發(fā)表過多篇論文，包括 CVPR、ACL、EMNLP、ECCV 等等，并獲得過最佳論文獎提名。
Tianhao Zheng
Tianhao Zheng2022 年加入 OpenAI。他本科畢業(yè)于清華大學(xué)，博士畢業(yè)于得克薩斯大學(xué)奧斯汀分校。再加入 OpenAI 之前，他曾先后在英偉達、谷歌、Twitter 工作過。Tianhao Zheng 在 GPT-4 項目中主要參與了視覺方面的工作。
翁家翌


翁家翌（Jiayi Weng）2020 年在清華大學(xué)計算機科學(xué)與技術(shù)系獲得本科學(xué)位。本科在朱軍教授組學(xué)習(xí)期間，主要參與了強化學(xué)習(xí)算法庫 Tianshou（天授）的開發(fā)，該項目已獲得 5.9K GitHub Star。CMU 碩士畢業(yè)后，翁家翌加入 OpenAI 任研究工程師。