編輯部 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

一覺醒來，程序員怕是真要失業(yè)了。

首個AI軟件工程師一亮相，直接引爆整個科技圈。只需一句指令，它可端到端地處理整個開發(fā)項目。

在SWE-bench基準(zhǔn)測試中，它無需人類幫助，可解決13.86%的問題。

相比之下，GPT-4只能處理1.74%的問題，且都需要人類提示告知處理哪些文件。

可以說，它遠(yuǎn)遠(yuǎn)超過了此前所有AI大模型。

從零構(gòu)建網(wǎng)站、自主查找并修復(fù)Bug、甚至是訓(xùn)練和微調(diào)自己的AI模型通通都不在話下~也可為一些成熟的代碼庫做貢獻(xiàn)。

就是一些不熟悉的技術(shù)，給它看一篇博客文章。它也能立馬搞定。

比如用ControlNet，生成帶有隱藏文字的圖像，Devin就是一點就通~

據(jù)介紹，它已經(jīng)成功通過一家AI公司面試，并且在Upwork上完成了實際工作。

而這背后的公司Cognition，雖然是初創(chuàng)公司，但小而精悍。

在招人信息中明晃晃寫著：我們有10塊IOI金牌。

讓同行們直呼：哦莫，瘋了吧~

目前Devin尚未公測，不過已經(jīng)有少部分人拿到了資格，開始實測了一波……

首個AI軟件工程師亮相

Devin被介紹為世界首個完全自主的AI軟件工程師。

它在長程推理和規(guī)劃上面下了很大功夫，可以規(guī)劃和執(zhí)行需要數(shù)千個決策才能完成的復(fù)雜軟件工程任務(wù)。

在這之中，進(jìn)行到任何一步它都可以回調(diào)所有相關(guān)的上下文信息，保證整體邏輯性，并方便隨時校正錯誤。

既然是一個端到端AI，軟件開發(fā)人員常用的工具，比如shell、代碼編輯器和瀏覽器等等，Devin也都配備（沙盒計算環(huán)境中），主打一個全方位服務(wù)。

最終的Devin，讓人類只需要發(fā)號施令，其他什么也不用做。

具體來看，其主要能力有以下六個：

1、端到端構(gòu)建和部署程序

Devin可以幫我們解決的不只有是代碼，還包括與之相關(guān)的整個工作流。

比如，當(dāng)我們需要設(shè)計一個網(wǎng)頁游戲時，Devin不僅能生成網(wǎng)頁，還能直接完成服務(wù)端的部署，然后直接發(fā)布上線，省去了中間的人工操作。

只需要告訴Devin，我們想做一個個人網(wǎng)站，里面運行一個Devin定制版的生命游戲。

然后Devin表示自己會先搭建網(wǎng)站的基本架構(gòu)，并詢問了有沒有更具體的需求。

在明確要求之后，Devin給出了這樣一份任務(wù)清單：

• 創(chuàng)建React應(yīng)用，安裝UI模塊等依賴
• 用React和UI模組搭建前端環(huán)境
• 部署服務(wù)器并確保其在私有IP下運行
• 通過CDN向首頁添加p5.js庫
• 在React中部署并驗證游戲的功能和資源是否正確配置

接著，Devin就會按照自己設(shè)計的這個清單開始編寫代碼，然后部署服務(wù)……

△Devin部署后端服務(wù)器的過程

最終完成全部工作之后，一個即點即玩的游戲鏈接就呈現(xiàn)在了我們面前。

2、自主查找并修復(fù)bug

不僅能一氣呵成完成開發(fā)部署，Devin的debug能力也是一流。

開發(fā)者給Devin一個GitHub鏈接，讓它先熟悉項目情況，然后一會兒要準(zhǔn)備數(shù)據(jù)進(jìn)行測試。

接著，Devin就會按部就班地編寫測試用的程序并準(zhǔn)備好有關(guān)數(shù)據(jù)，然后運行。

結(jié)果，在開發(fā)者已經(jīng)發(fā)布的完整項目之中，Devin還真的找到了連開發(fā)者自己都沒有發(fā)現(xiàn)的漏洞。

發(fā)現(xiàn)漏洞之后，Devin會回溯報錯出現(xiàn)的位置及對應(yīng)的數(shù)據(jù)，然后分析原因并給出解決方案。

最終經(jīng)過調(diào)試，程序的bug被成功修復(fù)，完美通過了測試。

3、訓(xùn)練和微調(diào)自己的AI模型

除了這些一般的程序或項目，作為一個全能型AI助手，Devin還有能力幫助人類訓(xùn)練和微調(diào)其他AI。

對于一些常見的模型（比如示例中的Llama），用戶只需要在promot中提及模型的名稱，Devin就直接知道要訓(xùn)練哪個模型。

而在這個示例中，微調(diào)的具體方法（QLoRA）是以GitHub鏈接的形式輸入給Devin的。

接到指令后，Devin還是像處理平常的程序一樣邊規(guī)劃邊執(zhí)行，所需環(huán)境和依賴，還有模型本體，都會自動下載安裝。

這些準(zhǔn)備都完成之后，微調(diào)工作就會有條不紊地進(jìn)行，而且其中的狀態(tài)可以實時監(jiān)控。

4、修復(fù)開源庫

Devin的能力不僅在于開發(fā)者自己本身的項目，開源社區(qū)里的，它也能hold住。

比如我們只需要把GitHub項目的issue鏈接丟給Devin，它就能立即完成所需的所有配置，并自動收集上下文信息，然后開始解決問題。

當(dāng)然，開源項目的功能請求（feature request）也沒問題，和修問題的流程一樣，自己搞好配置，收集上下文，然后就開始編碼。

5、成熟的生產(chǎn)庫也能做貢獻(xiàn)

還沒完，業(yè)已成熟的生產(chǎn)庫，Devin也能給咱秀一把。

官方介紹，sympy Python代數(shù)系統(tǒng)中有一個對數(shù)計算的錯誤，就被Devin順利解決：

配置環(huán)境、重現(xiàn)bug，自行編碼并修復(fù)、測試，再次一氣呵成。

△就是這個庫

6、不熟的技術(shù)，現(xiàn)學(xué)現(xiàn)賣

最后，遇到自己不會的技能，Devin可以直接現(xiàn)學(xué)，并迅速付諸應(yīng)用。

把你新刷到的技術(shù)文章鏈接直接丟給Devin：

Hi Devin！我在這個博客文章中（附網(wǎng)址）發(fā)現(xiàn)，可以生成帶有隱藏文本的圖像。文中提到了一個腳本，你能配置好它，然后為我真的生成一些圖片嗎？

Ps. 就是利用ControlNet來做這件事。

Devin接到請求后，首先詢問了更為詳細(xì)的需求，然后開始閱讀博客文章，并像平常一樣規(guī)劃出了行動方案。

有了詳細(xì)的行動方案后，它立刻就在數(shù)分鐘內(nèi)進(jìn)行代碼編寫和調(diào)試。

同樣的，在這里遇到bug也不用驚慌，Devin同樣有能力直接進(jìn)行修復(fù)。

完成工具的搭建后，Devin也沒有勞煩人類自行配置使用，而是一氣呵成，最終生成了咱們要的帶隱藏文字的圖像：

可以說表現(xiàn)相當(dāng)令人驚艷。

而在具體測試中，Devin取得的成績同樣亮眼。

在評估Devin的表現(xiàn)時，團(tuán)隊沒有使用常見的HumanEval，而是用了更具挑戰(zhàn)性的SWE-bench。

這個數(shù)據(jù)集是由GitHub中的實際問題組成的，Devin不借助任何輔助，就取得了13.86%的最高解決率。

而同樣在無輔助的條件下，GPT-4的問題解決率為零，此前的最佳水平是1.96%，加入輔助也才4.8%。

公司人均一塊IOI金牌

如此炸天的新成果，背后卻是一家名不見經(jīng)傳的初創(chuàng)公司。

但這種“名不見經(jīng)傳”背后，實際是一個10人員工的編程天才團(tuán)隊，IOI金牌就有10塊…人均一塊。

Devin背后公司名為Cognition AI，總部設(shè)在紐約和舊金山，定位是一家專注于推理的應(yīng)用AI實驗室。

此前這家公司一直秘密工作，于兩個月前正式注冊成立。

目前該團(tuán)隊規(guī)模僅有10人，但共攬獲了10枚IOI金牌，創(chuàng)始成員均曾在Cursor、Scale AI、Lunchclub、Modal、Google DeepMind、Waymo、Nuro等從事AI前沿工作。

據(jù)悉，Cognition AI由Scott Wu、Steven Hao、WaldenYan創(chuàng)立。

聯(lián)合創(chuàng)始人兼CEO Scott Wu，根據(jù)我們目前搜到的資料，Scott Wu曾就讀于哈佛大學(xué)，曾是Lunchclub的聯(lián)合創(chuàng)始人兼CTO。

曾連續(xù)三年攬獲IOI金牌：

聯(lián)合創(chuàng)始人兼CTO Steven Hao，畢業(yè)于MIT計算機專業(yè)，之前曾在Scale AI、Jane Street、DE Shaw、Quora工作。

也曾是IOI金牌得主：

聯(lián)合創(chuàng)始人兼CPO Walden，曾于哈佛大學(xué)攻讀計算機科學(xué)和經(jīng)濟(jì)學(xué)相關(guān)專業(yè)，還曾從事MIT PRIMES密碼學(xué)和機器學(xué)習(xí)方向的計算機科學(xué)研究，還是沃頓商學(xué)院高中投資大賽北美地區(qū)決賽入圍者。

2020年第32屆IOI金牌得主：

據(jù)X推文的轉(zhuǎn)發(fā)順藤摸瓜，還有一位創(chuàng)始成員被扒了出來。

Neal Wu，同樣有哈佛大學(xué)教育經(jīng)歷，曾在tryramp、GoogleBrain工作過。

整個團(tuán)隊長期目標(biāo)，意在通過解決推理問題，在廣泛的學(xué)科領(lǐng)域解鎖新的可能性，而“代碼僅僅是開始”。

不過對于Devin，目前他們尚未透露是如何實現(xiàn)這一壯舉的，包括到底是使用自己的專有模型還是第三方模型。

此外，Cognition AI目前已獲得硅谷投資大佬彼得·蒂爾的Founders Fund基金領(lǐng)投的2100萬美元A輪融資。

眾所周知，彼得蒂爾以挖掘這種極具突破性的創(chuàng)新項目著稱，而且哈佛背景的創(chuàng)業(yè)者更是和他淵源緊密。

上一個他早期投資中類似背景，最知名的是扎克伯格和Facebook。

“自動化軟件工程與自動駕駛類似”

Devin一亮相，讓不少工程師大驚失色：軟件工程師…要失業(yè)了？？？

不過也有人依然樂觀：終于有AI讓我們從繁重的編程任務(wù)中解脫出來。

前特斯拉AI總監(jiān)卡帕西倒是給了一顆定心丸。

自動化軟件工程，目前看起來與自動化駕駛類似。

具體體現(xiàn)在發(fā)展進(jìn)程上：首先人類手動編寫代碼，然后 GitHub Copilot 自動完成幾行，再之后ChatGPT 編寫代碼塊，現(xiàn)在就是Devin的出現(xiàn)。

接下來，他認(rèn)為自動化軟件工程會演變成為協(xié)調(diào)開發(fā)人員需要串聯(lián)的許多工具一起編寫代碼：終端、瀏覽器、代碼編輯器等。以及人類負(fù)責(zé)監(jiān)督，逐漸轉(zhuǎn)向更高級別工作。

結(jié)合卡帕西的經(jīng)歷和對自動駕駛的理解，他表達(dá)的更多是一種漸進(jìn)式推進(jìn)，即會有一段時間的人機共駕，然后在數(shù)據(jù)和迭代反饋后，才能實現(xiàn)完全無人駕駛。

自動化軟件也類似，先低代碼，然后零代碼，最后完全不需要人寫代碼。

Perplexity AI CEO給出了個高度的肯定：這應(yīng)該是任何Agent的第一個演示。

它似乎跨越了人類水平的門檻并且可靠地工作。它還告訴我們通過結(jié)合 LLM 和樹搜索算法可以實現(xiàn)什么

德?lián)銩I之父、前FAIR（Meta）研究科學(xué)家、現(xiàn)已加入OpenAI的Noam Brown轉(zhuǎn)發(fā)開麥：

2024年是AI激動人心的一年。

所以，程序員們做好被解放的準(zhǔn)備了嗎？（Doge）

參考鏈接：
[1]https://twitter.com/cognition_labs/status/1767548763134964000/quotes
[2]https://waldenyan.com/
[3]https://twitter.com/itsandrewgao/status/1767628564432670904
[4]https://twitter.com/Lauramaywendel/status/1767588416730894756
[5]https://www.bloomberg.com/news/articles/2024-03-12/cognition-ai-is-a-peter-thiel-backed-coding-assistant

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時間獲知前沿科技動態(tài)