快訊 來源：ZAKER科技 2023-06-02 12:29:24
這兩天 hugging face 的榜單出現(xiàn)了一個(gè)異數(shù)。一個(gè)名為 Falcon 40B 的模型，突然成為了 hugging face" 開源 " 大模型排行榜的第一名。
這一成績直接將一眾大咖加持的開源的模型踩在腳下，包括但不限于扎克伯格同學(xué)旗下的 LLaMA、新晉明星獨(dú)角獸 Stability AI 等公司。其中，LLaMA 的模型規(guī)模甚至更大，達(dá)到了 65B ——比 Falcon-40B 大出了 50%。
按照國際通用慣例，網(wǎng)友們少不了又要拉踩一把扎克伯格。Hugging Face 過去一直被認(rèn)為是大模型領(lǐng)域 GitHub，在人類大模型的開源事業(yè)的道路上不遺余力，被一些觀察者認(rèn)為是 OpenAI 最具潛在挑戰(zhàn)能力的平臺。因此 Hugging Face 的榜單，被從業(yè)者給予了很高的參考價(jià)值。按照 Hugging Face 方面表示，其整個(gè)榜單使用 Eleuther AI Harness 的評估框架，被分成四個(gè)標(biāo)準(zhǔn)：
(相關(guān)資料圖)
25 個(gè)小樣本的推理邏輯測試（ARC：AI2 Reasoning Challenge）、10 個(gè)樣本的嘗試推理測試（HellaSwag）、5 個(gè)樣本的多任務(wù)準(zhǔn)確性測試（MMLU）以及誠實(shí)測試（TruthfulQA）
而在全部四項(xiàng)打分中，如圖一所示，除了誠實(shí)測試表現(xiàn)相對一般外，其他三項(xiàng)都大幅領(lǐng)先對手。而在新推出的 instruct 版本中，誠實(shí)性能力也跟上來了。
Falcon 備受外界關(guān)注，原因主要有幾點(diǎn)。一方面，如果僅以這個(gè)榜單數(shù)據(jù)來看，F(xiàn)alcon 相比于友商的提升幅度很大。LLaMA-65B 之后的排序的分差往往在 0.3 分以內(nèi)，但 Falcon-instruct 直接提升了 3.4 分。
另一方面，F(xiàn)alcon 與馬斯克的火箭重名，但其實(shí)是目前為數(shù)不多的非西方國家實(shí)驗(yàn)室開發(fā)的開源大模型產(chǎn)品。Falcon 背后的研發(fā)方來自阿聯(lián)酋的阿布扎比技術(shù)創(chuàng)新研究所（TII），這也是中東首個(gè)世界頂級的大模型產(chǎn)品。
TII 的背后則是阿布扎比先進(jìn)技術(shù)研究委員會 ( ATRC ) ，因此是阿聯(lián)酋政府官方扶持技術(shù)創(chuàng)新項(xiàng)目。
而根據(jù)阿聯(lián)酋通訊社的報(bào)道，F(xiàn)alcon-45B 使用了 1 萬億個(gè) token 進(jìn)行訓(xùn)練，可以用更少的訓(xùn)練計(jì)算能力實(shí)現(xiàn)更優(yōu)的效果，其僅相當(dāng)于 OpenAI GPT-3 訓(xùn)練計(jì)算的 75%，DeepMind Chinchilla 人工智能的 40%，谷歌 PaLM-62B 訓(xùn)練計(jì)算的 80%。
阿聯(lián)酋通訊社進(jìn)一步表示，作為開源的大模型工具，F(xiàn)alcon-45B 的出現(xiàn)：
" 強(qiáng)化了阿聯(lián)酋作為全球 AI 領(lǐng)導(dǎo)者的角色 "。
目前來說，F(xiàn)alcon-40B 雖然是開源大模型的第一名，但是和 " 不 Open" 的 OpenAI 相比，還有相當(dāng)大的差距。而在越來越公司對開源保持謹(jǐn)慎態(tài)度的情況下，F(xiàn)alcon 獲得 " 開源大模型第一 " 其實(shí)也算是 " 撿了個(gè)漏 "。不過很快有從業(yè)者發(fā)推特質(zhì)疑 Hugging Face 的評價(jià)體系。有 Inflection AI 員工發(fā)推認(rèn)為 Hugging Face 得出的數(shù)據(jù)與論文的評分有一定的差異。在這條質(zhì)疑下面，前特斯拉 AI 負(fù)責(zé)人、OpenAI 元老級人物（founding member）Andrej Karpathy 跟進(jìn)評論：
" 這就是我目前避免評論 falcon 的原因 "。
Andrej Karpathy 曾經(jīng)是李飛飛的高徒、全球頂尖的 AI 科學(xué)家，對 OpenAI 的發(fā)展起到了很大的作用，也一手推動了特斯拉自動駕駛項(xiàng)目的發(fā)展，可以說是特斯拉 autopilot 之父。當(dāng)他對 hugging face 的標(biāo)準(zhǔn)提出質(zhì)疑時(shí)，這并不能被認(rèn)為是一個(gè)輕飄飄的指控。
果然 hugging face 聯(lián)合創(chuàng)始人 Thomas Wolf 聞風(fēng)而至，對同行進(jìn)行了友善的科普，表示他們的使用的評價(jià)工具的準(zhǔn)確性是可靠的。這其中詭異的點(diǎn)在于，hugging face 的榜單不是一天發(fā)出的，Eleuther AI Harness 也是一個(gè)主流的評價(jià)體系。但當(dāng) Falcon 沖榜后，卻出現(xiàn)了兩位對評價(jià)體系 " 不理解 "、" 不確定 " 的 " 外賓 "。看來硅谷還不是很適應(yīng)來自中東的神秘科技力量，對這種 " 新鮮事物 " 條件反射地用審視的眼光去打量。
不過，F(xiàn)alcon-40B 最大的爭議或許不是來自于能力，而是來自于其對 " 開源 " 事業(yè)的 " 誠心 "。
因?yàn)?Falcon 對商業(yè)化開源留了一個(gè) " 后手 "，雖然使用者原則上免費(fèi)，但如果收入超過 100 萬美金，依然需要繳納 10% 的授權(quán)費(fèi)用。
但由于 falcon 的許可證其實(shí)部分基于 Apache License Version 2.0。后者來自 Apache 基金會，對商業(yè)開源是友好的。那如果 falcon 拿著免費(fèi)開源的許可協(xié)議，未來依然會收取一定的商業(yè)化費(fèi)用，這似乎依然算不上真的 " 開源 "。
大模型確實(shí)很燒錢，即便貴如中東土豪，也不希望徹底的開源。
而根據(jù) TII 方面的消息，阿聯(lián)酋方面預(yù)計(jì)將很快發(fā)布新的 Falcon-108B 的千億級大模型。
無論是開源和閉源、西方和東方、科技投資和石油資本，屆時(shí)圍繞大模型的科技競爭可能會變得更有意思。
圖片來源：網(wǎng)絡(luò)
標(biāo)簽：
免責(zé)聲明：市場有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！此文僅供參考，不作買賣依據(jù)。
