廣告
香港股市 將在 1 小時 32 分鐘 開市
  • 恒指

    19,115.06
    +151.36 (+0.80%)
     
  • 國指

    6,761.64
    +42.78 (+0.64%)
     
  • 上證綜指

    3,148.02
    -6.53 (-0.21%)
     
  • 道指

    39,431.51
    -81.29 (-0.21%)
     
  • 標普 500

    5,221.42
    -1.26 (-0.02%)
     
  • 納指

    16,388.24
    +47.34 (+0.29%)
     
  • Vix指數

    13.60
    +1.05 (+8.37%)
     
  • 富時100

    8,414.99
    -18.77 (-0.22%)
     
  • 紐約期油

    79.14
    +0.02 (+0.03%)
     
  • 金價

    2,344.20
    +1.20 (+0.05%)
     
  • 美元

    7.8121
    +0.0001 (+0.00%)
     
  • 人民幣

    0.9254
    0.0000 (0.00%)
     
  • 日圓

    0.0498
    0.0000 (0.00%)
     
  • 歐元

    8.4319
    +0.0037 (+0.04%)
     
  • Bitcoin

    62,884.98
    +1,383.44 (+2.25%)
     
  • CMC Crypto 200

    1,294.18
    +33.98 (+2.70%)
     

Meta推出Llama 3 即將追上OpenAI

Meta推出Llama 3 即將追上OpenAI

臉書母公司 Meta(META) 周四 (19 日) 宣布推出新一代大語言模型(LLM) Llama 3,共有 80 億和 700 億參數兩種版本,用了 24000 塊 GPU、15 萬億個 token 訓練訓練的 Llama 3 一亮相便登上開源大模型鐵王座,而隨著推理編碼大幅提升,代碼和權重全開源,加上 4000 億參數的版本也正在開發,專家認為 4000 億參數的版本推出後將是全球首個開源 GPT-4 級別的模型。

Meta 這次推出的 80 億和 700 億參數模型分別有預訓練和指令微調兩種版本,Meta 也聲稱 Llama 3 效能優於 Claude Sonnet、Mistral Medium 和 GPT-3.5。

80 億參數版本讓所有人都能接觸最前端的 AI 技術,全球各地的開發人員、研究人員都可以藉此進行遊戲、建造和實驗,不過上下文長度相較之前雖增加一倍,但依然只能一次生成 8 千字。

Meta 也預告,接下來幾個月將發佈多個新功能的模型,包括多語言對話、更長上下文,以及整體能力提升。

在性能上,8B 和 70B 顯著優於 Llama 2,取代了 SOTA,預訓練模型和指令微調模型在 8B 和 70B 的參數規模上取得了如此先進的性能,都是得益於預訓練和訓練後的改進。

此外,Llama 3 已能在網頁版 Meta AI 使用且免登錄,AI 模型資源平臺 Hugging Face 共同創辦人兼執行長表示:「Llama 1 和 2 現已衍生出 3 萬個新模型,Llama 3 將給 AI 生態帶來更大衝擊。 」

廣告

不過,80 億跟 700 億參數版本的 Llama 3 還只是開胃菜,Llama 3 的 4000 億參數版本不久便要解禁,目前還在訓練中,其中預訓練版本在推理挑戰測試集 ARC-Challenge 上拿下 96 的高分,Llama 3 的 4000 億參數指令微調版更在數學(GSM-8K)、代碼(Human-Eval)、大規模多任務語言理解基準(MMLU)上表現非常亮眼。

輝達高級科學家范麟熙 (Jim Fan) 將 Llama 3 的 4000 億參數版本與 Claude 3 Opus、GPT-4-2024-04-09 版和 Gemini 在同基準數據中進行對比,結果顯示 Llama 3 的 4000 億參數版本在多語言推理任務跟代碼能力,已經能跟 GPT-4、Claude 3 相匹敵,甚至完全勝過 Gemini Ultra 1.0。

OpenAI 共同創辦人兼 AI 研究員 Andrej Karpathy 認為,Llama 3 的 4000 億參數版本將會是首個開源 GPT-4 級別的模型,范麟熙也說 Llama 3 的 4000 億參數版本將成為一個分水嶺,將改變許多研究工作和草根創業公司的計算方式。

OpenAI 研究科學家 Will Depue 也表達同樣看法,認為 Llama 3 的 4000 億參數版本將讓未來的可能性無窮無盡,非常期待這樣一款開源 GPT-4 級別的模型。

更多鉅亨報導