剛剛,OpenAI安全副總裁、北大校友Lilian Weng宣布離職,有時(shí)間寫了||北大

推文發(fā)布后,OpenAI 內(nèi)外的一些知名人士為其送上了祝福,包括著名研究科學(xué)家 Noam Brown、OpenAI 首席信息安全官 Dane Stuckey、思維鏈提出者 Jason Wei 等等。

當(dāng)然,許多友也紛紛送上了自己的祝福,畢竟她不僅在 OpenAI 推動(dòng)了安全相關(guān)的研究和實(shí)踐,偶爾更新的 Lil’Log 也實(shí)實(shí)在在地幫助了很多人。

Lilian Weng 地址:https://lilianweng.github.io/

以下是她與團(tuán)隊(duì)分享的離職信的中文版:

親愛(ài)的朋友們,

我做出了離開(kāi) OpenAl 的艱難決定。11 月 15 日將是我在辦公室的最后一天。

OpenAl 是我成長(zhǎng)為科學(xué)家和團(tuán)隊(duì)領(lǐng)導(dǎo)者的地方,我將永遠(yuǎn)珍惜與我一路共事和結(jié)交的朋友在一起的時(shí)光。OpenAl 團(tuán)隊(duì)一直是我的知己、老師,也是我身份認(rèn)同的一部分。

我還記得 2017 年 OpenAl 的使命讓我多么著迷,一群人夢(mèng)想著一個(gè)不可能實(shí)現(xiàn)的科幻未來(lái)。在這里,我一開(kāi)始研究的是全棧機(jī)器人難題 —— 從深度強(qiáng)化學(xué)習(xí)算法到感知再到固件 —— 目標(biāo)是教會(huì)單臺(tái)機(jī)械手如何解決魔方問(wèn)題。整個(gè)團(tuán)隊(duì)花了兩年時(shí)間,但我們最終做到了。

當(dāng) OpenAl 進(jìn)入 GPT 范式,我們開(kāi)始探索將最佳 AI 模型部署到現(xiàn)實(shí)世界的方法時(shí),我組建了第一個(gè)應(yīng)用研究(Applied Research)團(tuán)隊(duì),推出了微調(diào) APl、嵌入 APl 和審核端點(diǎn)的初始版本,為應(yīng)用安全工作奠定了基礎(chǔ),并為許多早期 API 客戶提供了新的解決方案。

GPT-4 發(fā)布后,我被要求接受一項(xiàng)新挑戰(zhàn),重新考慮 OpenAl 安全系統(tǒng)的愿景,并將工作集中在一個(gè)擁有完整安全椎棧的團(tuán)隊(duì)之下。那是我曾做過(guò)的最困難、壓力最大又最激動(dòng)人心的事情之一。現(xiàn)在,安全系統(tǒng)(Satety Systems)團(tuán)隊(duì)有超過(guò) 80 位出色的科學(xué)家、工程師、產(chǎn)品經(jīng)理、政策專家,而且我為我們作為一個(gè)團(tuán)隊(duì)所取得的一切成就感到非常自豪。我們一起成為了每次發(fā)布的基石 —— 從 GPT-4 及其視覺(jué)和 turbo 版本到 GPT Store、語(yǔ)音功能和 o1。我們?cè)谟?xùn)練這些模型使其既強(qiáng)大又負(fù)責(zé)任方面所做的工作為行業(yè)樹(shù)立了新的標(biāo)準(zhǔn)。我為我們?cè)?o1-preview 模型方面取得的最新成就感到特別自豪,它是我們迄今為止最安全的模型,在保持其實(shí)用性的同時(shí),表現(xiàn)出對(duì)越獄攻擊的卓越抵抗力。

我們一起取得了令人矚目的成就:

  • 我們訓(xùn)練模型使其明白,通過(guò)遵循一套定義明確的模型安全行為政策,可以讓其很好地拒絕敏感或不安全的請(qǐng)求,包括何時(shí)拒絕或不拒絕,從而在安全性和實(shí)用性之間取得良好的平衡。

  • 在每次模型發(fā)布時(shí),我們都提高了其對(duì)抗穩(wěn)健性,包括防御越獄攻擊、指令層次結(jié)構(gòu)以及通過(guò)推理大幅提升穩(wěn)健性。我們?cè)谕该鞫确矫娴某兄Z都已體現(xiàn)在我們?cè)敿?xì)的模型系統(tǒng)卡中。

  • 我們開(kāi)發(fā)了業(yè)界領(lǐng)先的具有多模態(tài)能力的審核模型,并免費(fèi)分享給了公眾。我們目前在更通用的監(jiān)控框架和增強(qiáng)的安全推理能力方面的工作將為許多的安全工作流提供支持。

  • 我們?yōu)榘踩珨?shù)據(jù)記錄、指標(biāo)、儀表板、主動(dòng)學(xué)習(xí)管道、分類器部署、推理時(shí)間過(guò)濾和全新的快速響應(yīng)系統(tǒng)建立了工程開(kāi)發(fā)基礎(chǔ)。

回顧我們所取得的成就,我為安全系統(tǒng)團(tuán)隊(duì)的每個(gè)人都感到驕傲,我非常有信心團(tuán)隊(duì)將繼續(xù)蓬勃發(fā)展。我愛(ài)你們??。

現(xiàn)在,在 OpenAl 工作了 7 年后,我準(zhǔn)備重新開(kāi)始并探索一些新東西。OpenAl 正處于火箭般的增長(zhǎng)軌跡上,我只希望這里的每個(gè)人都一切順利。

附言:我的還在,會(huì)繼續(xù)下去。我可能很快就會(huì)有時(shí)間更頻繁地更新它,也可能會(huì)有許多時(shí)間來(lái)編程;)

愛(ài)你們的,

Lilian

Lilian Weng 介紹

Lilian Weng 是 OpenAI 華人科學(xué)家,她 2018 年加入 OpenAI,參與了 GPT-4 項(xiàng)目的預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí) & 對(duì)齊、模型安全等方面的工作。她本科畢業(yè)于北大,曾前往香港大學(xué)進(jìn)行短期交流,博士畢業(yè)于印第安納大學(xué)伯明頓分校。

根據(jù)領(lǐng)英資料顯示,Lilian Weng 在 OpenAI 已經(jīng)工作了近 7 年時(shí)間,擔(dān)任安全研究副總裁一職。

2021 年 - 2023 年工作期間,Lilian Weng 建立并領(lǐng)導(dǎo)了應(yīng)用人工智能研究團(tuán)隊(duì),包括產(chǎn)品研究、合作伙伴研究和應(yīng)用安全,從而使得 OpenAI 的 API 更強(qiáng)大、更實(shí)用、更安全。

之前,她還是 OpenAI 機(jī)器人團(tuán)隊(duì)的技術(shù)主管,專注于訓(xùn)練關(guān)于機(jī)器人任務(wù)的算法,如教機(jī)械手如何解決魔方、旋轉(zhuǎn)方塊等。

在加入 OpenAI 之前,她還在 Facebook、Dropbox 從事軟件工程和數(shù)據(jù)科學(xué)方面的工作。

Google Scholar 顯示,Lilian Weng 論文引用量超過(guò) 13000 多次。

閑暇時(shí)間,Lilian Weng 還寫了一些關(guān)于 AI 的文章,她的深入、細(xì)致,具有前瞻性,被很多 AI 研究者視為重要的參考資料(見(jiàn)文末「擴(kuò)展閱讀」)。感興趣的讀者可以前去閱讀。

? 版權(quán)聲明
評(píng)論 搶沙發(fā)
加載中~
每日一言
不怕萬(wàn)人阻擋,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender