四平沟粤教育科技有限公司

Meta 推出開源大模型 Llama 3，性能直逼 GPT-4

科技2024-04-20

智者2024年4月20日消息，昨日美國科技巨頭 Meta 推出了 Llama 3，號稱“有史以來最強大的開源大模型”，外部開發(fā)者可直接免費使用。在外界看來，Meta現(xiàn)在推出Llama 3，是為了追趕行業(yè)領(lǐng)導(dǎo)者OpenAI。但Meta首席執(zhí)行官扎克伯格向外媒表示，“我們的目標不是與開源模型競爭，而是要超過所有人，打造最領(lǐng)先的人工智能?！毙阅茏詈瞄_源模型正是沖G...

llama_副本.png

智者2024年4月20日消息，昨日美國科技巨頭 Meta 推出了 Llama 3，號稱“有史以來最強大的開源大模型”，外部開發(fā)者可直接免費使用。

在外界看來，Meta現(xiàn)在推出Llama 3，是為了追趕行業(yè)領(lǐng)導(dǎo)者OpenAI。但Meta首席執(zhí)行官扎克伯格向外媒表示，“我們的目標不是與開源模型競爭，而是要超過所有人，打造最領(lǐng)先的人工智能?！?/p>

性能最好開源模型正是沖GPT-4來的？

很顯然，Meta此次推出Llama3，正是沖著GPT-4來的。

作為追趕努力的一部分，Meta一直在發(fā)布像Llama 3這樣的模型供開發(fā)人員免費商業(yè)使用，因為強大的免費模型的成功可能會阻礙競爭對手從其專有技術(shù)中賺取收入的計劃。

扎克伯格表示，由于預(yù)訓(xùn)練和指令微調(diào)，Llama 3相比Llama 2有了極大的改進。

其主要亮點大都集中于：模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)、預(yù)訓(xùn)練規(guī)模、指令微調(diào)。

如相較Llama 2，Llama3的訓(xùn)練集規(guī)模擴大了7倍、代碼數(shù)據(jù)量增加了4倍，訓(xùn)練效率提升了大約3倍。

簡單來說，Llama3目前有兩個版本：8B版本和70B版本。

按 Meta官方的說法，這兩個版本是目前同體量下，性能最好的開源模型。近期也將登陸主要的云供應(yīng)商。

其中，70B版本具備超4000億參數(shù)，將直接對標GPT-4；而8B版本在某些測試集上，性能比上一個版本的Llama 2 70B 還要強。

此外，8B 參數(shù)評測結(jié)果碾壓 Gemma-7B、Mistral-7B 版本；而 Llama 3 70B 版本評測結(jié)果同樣也在諸多成績上超過了 Gemini 1.5 Pro 和 Claude 3 Sonnet。

從AI領(lǐng)域大佬們的反饋來看，Llama 3此次表現(xiàn)確實不同尋常。

AI三巨頭之一的楊立昆（Yann LeCun）專門為 Llama 3 發(fā)了一個帖子，馬斯克則現(xiàn)身該評論區(qū)，留下一句“Not bad”。

人工智能和機器學(xué)習領(lǐng)域國際上最權(quán)威的學(xué)者之一、AI開源倡導(dǎo)者吳恩達則表示：“Llama 3的發(fā)布是自己這輩子收到過的最好的禮物，謝謝你Meta！”

正式版Llama 3或?qū)⒂?月發(fā)布

在未來幾個月內(nèi)，Meta 或會推出更多版本。

英偉達高級科學(xué)家 Jim Fan 認為，之后可能會發(fā)布的 Llama 3-400B 以上版本，這或?qū)⒊蔀槟撤N“分水嶺”，開源社區(qū)可能即將能用上 GPT-4 級別的模型。

Meta也在官方博客中明確指出，未來幾個月內(nèi)將推出的Llama3正式版本將具備“多模態(tài)”特性，即同時駕馭文本與圖像生成。

但有知情人士透露，研究人員還未對Llama3進行細致的微調(diào)工作，所以尚未決定Llama 3是否將是多模態(tài)模型。

微調(diào)是模型開發(fā)過程中至關(guān)重要的一步，通過向現(xiàn)有模型注入額外的數(shù)據(jù)，使其能夠習得新的知識或適應(yīng)特定任務(wù)需求。通常情況下，參數(shù)量更大的模型能夠產(chǎn)生更高質(zhì)量的輸出，而較小的模型則以快速響應(yīng)見長。

如果說的再詳細點，Meta 還計劃推出新功能、更長的上下文窗口、額外的模型尺寸和增強的性能，并且將分享 Llama 3 的研究論文。

有消息稱，正式版的Llama 3 將會在今年7月推出。

扎克伯格綁定谷歌，抗衡OpenAI和微軟

扎克伯格在本月初，還向投資人表示，今年的主要關(guān)注領(lǐng)域包括推出Llama 3和“擴大Meta AI助手的實用性”。

所以，除了發(fā)布Llama 3，Meta還宣布與Alphabet旗下的谷歌達成一項新的戰(zhàn)略合作伙伴關(guān)系。

此次合作，將使Meta的AI助手在回答用戶問題時，可以實時融入來自谷歌搜索的權(quán)威結(jié)果，這也是對現(xiàn)有與微軟必應(yīng)合作的有效補充。隨后，Meta AI助手正在擴展到美國以外的十多個市場，包括澳大利亞、加拿大、新加坡、尼日利亞和巴基斯坦。

扎克伯格周四在發(fā)布會上稱，Meta AI是“你可以自由使用的最智能的人工智能助手”。他表示，最大版本的Llama 3目前正在用4000億個參數(shù)進行訓(xùn)練，在MMLU(大規(guī)模多任務(wù)語言理解)測試中得分為85分。他表示，推出的兩個較小版本現(xiàn)在分別有80億個參數(shù)和700億個參數(shù)，后者MMLU的得分為82分。

目前，Meta已將Llama 3模型集成到 Meta AI 中，官方認為這是世界上領(lǐng)先的 AI 助手。網(wǎng)頁版已同步上線：meta.ai，用戶登錄后即可保存與 Meta AI 的對話記錄。

據(jù)介紹，用戶可以在 Facebook、Instagram、WhatsApp 和 Messenger 上使用 Meta AI 來完成任務(wù)、學(xué)習、創(chuàng)造。

開閉源之爭再加劇，周鴻祎回懟李彥宏

開源和閉源之爭，漸漸演變成一場宗教般的信仰之爭，很難有人保持中立。

不久前，在百度AI開發(fā)者大會上，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏稱，“以前說開源便宜，其實在大模型領(lǐng)域，開源是最貴的。所以開源模型會越來越落后?！?/p>

此前，李彥宏在內(nèi)部講話時也提到，開源模型很難實現(xiàn)眾人拾柴火焰高；同等能力下，閉源在成本上反而更有優(yōu)勢；閉源會持續(xù)領(lǐng)先，而非一時領(lǐng)先；閉源才有真商業(yè)模式，能賺到錢才能聚集人才和算力。

對此，360集團創(chuàng)始人周鴻祎在第二十七屆哈佛中國論壇上，疑似回懟李彥宏：

“我一直相信開源的力量，至于網(wǎng)上有些名人胡說八道，大家也別被他們忽悠，說開源不如閉源好。”

“一句話，今天沒有開源就沒有Linux，沒有Linux就沒有互聯(lián)網(wǎng)，就連說這話的公司自己都借助了開源的力量才成長到今天?！?/p>

“源社區(qū)聚集的工程師和科學(xué)家的數(shù)量是閉源的數(shù)百倍。所以，今年開源只做了一年就已經(jīng)超過了GPT-3.5的能力。未來一兩年內(nèi)，開源的力量很有可能會達到或者超過閉源的水平。”

周鴻祎還舉例說，“前兩天百度的李彥宏說他們的大模型超過了GPT-4，然后王小川不相信，就出來懟李彥宏。其實你仔細聽聽李彥宏說的是有道理的，他是說在寫古詩方面，百度超過了GPT-4”。

近期，原搜狗創(chuàng)始人、現(xiàn)百川智能創(chuàng)始人王小川，在接受媒體采訪時犀利吐槽：李彥宏很魔幻主義，去年2月就喊出比OpenAI只差兩個月，已經(jīng)夠有幻覺了。