智者2024年4月20日消息，昨日美國(guó)科技巨頭 Meta 推出了 Llama 3，號(hào)稱“有史以來(lái)最強(qiáng)大的開(kāi)源大模型”，外部開(kāi)發(fā)者可直接免費(fèi)使用。

在外界看來(lái)，Meta現(xiàn)在推出Llama 3，是為了追趕行業(yè)領(lǐng)導(dǎo)者OpenAI。但Meta首席執(zhí)行官扎克伯格向外媒表示，“我們的目標(biāo)不是與開(kāi)源模型競(jìng)爭(zhēng)，而是要超過(guò)所有人，打造最領(lǐng)先的人工智能?！?/p>

性能最好開(kāi)源模型正是沖GPT-4來(lái)的？

很顯然，Meta此次推出Llama3，正是沖著GPT-4來(lái)的。

作為追趕努力的一部分，Meta一直在發(fā)布像Llama 3這樣的模型供開(kāi)發(fā)人員免費(fèi)商業(yè)使用，因?yàn)閺?qiáng)大的免費(fèi)模型的成功可能會(huì)阻礙競(jìng)爭(zhēng)對(duì)手從其專有技術(shù)中賺取收入的計(jì)劃。

扎克伯格表示，由于預(yù)訓(xùn)練和指令微調(diào)，Llama 3相比Llama 2有了極大的改進(jìn)。

其主要亮點(diǎn)大都集中于：模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)、預(yù)訓(xùn)練規(guī)模、指令微調(diào)。

如相較Llama 2，Llama3的訓(xùn)練集規(guī)模擴(kuò)大了7倍、代碼數(shù)據(jù)量增加了4倍，訓(xùn)練效率提升了大約3倍。

簡(jiǎn)單來(lái)說(shuō)，Llama3目前有兩個(gè)版本：8B版本和70B版本。

按 Meta官方的說(shuō)法，這兩個(gè)版本是目前同體量下，性能最好的開(kāi)源模型。近期也將登陸主要的云供應(yīng)商。

其中，70B版本具備超4000億參數(shù)，將直接對(duì)標(biāo)GPT-4；而8B版本在某些測(cè)試集上，性能比上一個(gè)版本的Llama 2 70B 還要強(qiáng)。

此外，8B 參數(shù)評(píng)測(cè)結(jié)果碾壓 Gemma-7B、Mistral-7B 版本；而 Llama 3 70B 版本評(píng)測(cè)結(jié)果同樣也在諸多成績(jī)上超過(guò)了 Gemini 1.5 Pro 和 Claude 3 Sonnet。

從AI領(lǐng)域大佬們的反饋來(lái)看，Llama 3此次表現(xiàn)確實(shí)不同尋常。

AI三巨頭之一的楊立昆（Yann LeCun） 專門(mén)為 Llama 3 發(fā)了一個(gè)帖子，馬斯克則現(xiàn)身該評(píng)論區(qū)，留下一句“Not bad”。

人工智能和機(jī)器學(xué)習(xí)領(lǐng)域國(guó)際上最權(quán)威的學(xué)者之一、AI開(kāi)源倡導(dǎo)者吳恩達(dá)則表示：“Llama 3的發(fā)布是自己這輩子收到過(guò)的最好的禮物，謝謝你Meta！”

正式版Llama 3或?qū)⒂?月發(fā)布

在未來(lái)幾個(gè)月內(nèi)，Meta 或會(huì)推出更多版本。

英偉達(dá)高級(jí)科學(xué)家 Jim Fan 認(rèn)為，之后可能會(huì)發(fā)布的 Llama 3-400B 以上版本，這或?qū)⒊蔀槟撤N“分水嶺”，開(kāi)源社區(qū)可能即將能用上 GPT-4 級(jí)別的模型。

Meta也在官方博客中明確指出，未來(lái)幾個(gè)月內(nèi)將推出的Llama3正式版本將具備“多模態(tài)”特性，即同時(shí)駕馭文本與圖像生成。

但有知情人士透露，研究人員還未對(duì)Llama3進(jìn)行細(xì)致的微調(diào)工作，所以尚未決定Llama 3是否將是多模態(tài)模型。

微調(diào)是模型開(kāi)發(fā)過(guò)程中至關(guān)重要的一步，通過(guò)向現(xiàn)有模型注入額外的數(shù)據(jù)，使其能夠習(xí)得新的知識(shí)或適應(yīng)特定任務(wù)需求。通常情況下，參數(shù)量更大的模型能夠產(chǎn)生更高質(zhì)量的輸出，而較小的模型則以快速響應(yīng)見(jiàn)長(zhǎng)。

如果說(shuō)的再詳細(xì)點(diǎn)，Meta 還計(jì)劃推出新功能、更長(zhǎng)的上下文窗口、額外的模型尺寸和增強(qiáng)的性能，并且將分享 Llama 3 的研究論文。

有消息稱，正式版的Llama 3 將會(huì)在今年7月推出。

扎克伯格綁定谷歌，抗衡OpenAI和微軟

扎克伯格在本月初，還向投資人表示，今年的主要關(guān)注領(lǐng)域包括推出Llama 3和“擴(kuò)大Meta AI助手的實(shí)用性”。

所以，除了發(fā)布Llama 3，Meta還宣布與Alphabet旗下的谷歌達(dá)成一項(xiàng)新的戰(zhàn)略合作伙伴關(guān)系。

此次合作，將使Meta的AI助手在回答用戶問(wèn)題時(shí)，可以實(shí)時(shí)融入來(lái)自谷歌搜索的權(quán)威結(jié)果，這也是對(duì)現(xiàn)有與微軟必應(yīng)合作的有效補(bǔ)充。隨后，Meta AI助手正在擴(kuò)展到美國(guó)以外的十多個(gè)市場(chǎng)，包括澳大利亞、加拿大、新加坡、尼日利亞和巴基斯坦。

扎克伯格周四在發(fā)布會(huì)上稱，Meta AI是“你可以自由使用的最智能的人工智能助手”。他表示，最大版本的Llama 3目前正在用4000億個(gè)參數(shù)進(jìn)行訓(xùn)練，在MMLU(大規(guī)模多任務(wù)語(yǔ)言理解)測(cè)試中得分為85分。他表示，推出的兩個(gè)較小版本現(xiàn)在分別有80億個(gè)參數(shù)和700億個(gè)參數(shù)，后者M(jìn)MLU的得分為82分。

目前，Meta已將Llama 3模型集成到 Meta AI 中，官方認(rèn)為這是世界上領(lǐng)先的 AI 助手。網(wǎng)頁(yè)版已同步上線：meta.ai，用戶登錄后即可保存與 Meta AI 的對(duì)話記錄。

據(jù)介紹，用戶可以在 Facebook、Instagram、WhatsApp 和 Messenger 上使用 Meta AI 來(lái)完成任務(wù)、學(xué)習(xí)、創(chuàng)造。

開(kāi)閉源之爭(zhēng)再加劇，周鴻祎回懟李彥宏

開(kāi)源和閉源之爭(zhēng)，漸漸演變成一場(chǎng)宗教般的信仰之爭(zhēng)，很難有人保持中立。

不久前，在百度AI開(kāi)發(fā)者大會(huì)上，百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏稱，“以前說(shuō)開(kāi)源便宜，其實(shí)在大模型領(lǐng)域，開(kāi)源是最貴的。所以開(kāi)源模型會(huì)越來(lái)越落后。”

此前，李彥宏在內(nèi)部講話時(shí)也提到，開(kāi)源模型很難實(shí)現(xiàn)眾人拾柴火焰高；同等能力下，閉源在成本上反而更有優(yōu)勢(shì)；閉源會(huì)持續(xù)領(lǐng)先，而非一時(shí)領(lǐng)先；閉源才有真商業(yè)模式，能賺到錢(qián)才能聚集人才和算力。

對(duì)此，360集團(tuán)創(chuàng)始人周鴻祎在第二十七屆哈佛中國(guó)論壇上，疑似回懟李彥宏：

“我一直相信開(kāi)源的力量，至于網(wǎng)上有些名人胡說(shuō)八道，大家也別被他們忽悠，說(shuō)開(kāi)源不如閉源好?！?/p>

“一句話，今天沒(méi)有開(kāi)源就沒(méi)有Linux，沒(méi)有Linux就沒(méi)有互聯(lián)網(wǎng)，就連說(shuō)這話的公司自己都借助了開(kāi)源的力量才成長(zhǎng)到今天?！?/p>

“源社區(qū)聚集的工程師和科學(xué)家的數(shù)量是閉源的數(shù)百倍。所以，今年開(kāi)源只做了一年就已經(jīng)超過(guò)了GPT-3.5的能力。未來(lái)一兩年內(nèi)，開(kāi)源的力量很有可能會(huì)達(dá)到或者超過(guò)閉源的水平?！?/p>

周鴻祎還舉例說(shuō)，“前兩天百度的李彥宏說(shuō)他們的大模型超過(guò)了GPT-4，然后王小川不相信，就出來(lái)懟李彥宏。其實(shí)你仔細(xì)聽(tīng)聽(tīng)李彥宏說(shuō)的是有道理的，他是說(shuō)在寫(xiě)古詩(shī)方面，百度超過(guò)了GPT-4”。

近期，原搜狗創(chuàng)始人、現(xiàn)百川智能創(chuàng)始人王小川，在接受媒體采訪時(shí)犀利吐槽：李彥宏很魔幻主義，去年2月就喊出比OpenAI只差兩個(gè)月，已經(jīng)夠有幻覺(jué)了。

在國(guó)外，AI三巨頭之一的楊立昆Yann LeCun認(rèn)為，科學(xué)論文、代碼的自由交換以及AI訓(xùn)練模型的公開(kāi)共享使美國(guó)在科學(xué)技術(shù)領(lǐng)域保持領(lǐng)先地位。這個(gè)理念并非新穎，很久以前就有了。

開(kāi)源實(shí)現(xiàn)了對(duì)訪問(wèn)的民主化。它讓更多的人和企業(yè)有能力利用最先進(jìn)的技術(shù)，并彌補(bǔ)潛在的弱點(diǎn)。這也有助于促進(jìn)民主價(jià)值觀和制度，減少社會(huì)差距并改善競(jìng)爭(zhēng)。

而來(lái)自麻省理工學(xué)院和劍橋大學(xué)的科學(xué)家們?cè)谝黄撐闹刑岬?，發(fā)現(xiàn)開(kāi)源大模型的確可能存在被不良行為者操縱的風(fēng)險(xiǎn)。Anthropic 公司研究人員也曾發(fā)表論文警告稱，AI中毒可能導(dǎo)致開(kāi)源大模型變成潛伏的間諜。