Meta Platforms 在加州舉行的年度 Meta Connect 活動中 呈現 其流行應用程式的幾個新的人工智慧功能 Facebook, Instagram 和 WhatsApp，但這家科技巨頭最令人印象深刻的創新可能沒有被很多人注意到。 我們談論的是 Llama 2 Long AI 模型。
Meta 公司的一組研究人員以某種方式悄悄發表了一篇文章，其中他們提出了一種新的人工智慧模型 Llama 2 Long，能夠為長時間的用戶查詢產生連貫且相關的答案。 他們說，最多它的表現優於業內一些最好的競爭對手。
Llama 2 Long 是一個擴展 駱駝2是今年夏天發布的開源人工智慧模型 Meta，它可以從各種資料來源中學習並執行各種任務，如編碼、數學、語言理解等。 然而，Llama 2 Long 接受了包含更長文字的更多資料的訓練，並且該演算法經過修改以處理更長的資訊序列。 這使得它的效能優於 OpenAI 的 GPT-3.5 Turbo 和 Claude 2，後者對可用於產生回應的上下文量有限制。
研究人員 Meta 使用了 Llama 2 的不同版本 - 從 7 億到 70 億個參數，即 AI 模型可以透過從資料中學習來改變的值。 他們添加了另外 400 億個資料標記（文字單位），其中包含比原始模型資料集更長的文字。 他們還使用旋轉位置嵌入（RoPE）技術稍微調整了 AI 模型的架構，以便該模型可以使用比其他方法更少的資訊和記憶體來產生準確且有用的答案。
該團隊使用人類反饋強化學習（RLHF），這是一種人工智慧模型因正確答案而獲得獎勵並由人類評分者糾正的方法，合成數據由Llama 2 聊天本身生成，以提高其在各種任務中的表現。
該論文聲稱，該模型可以對長達 200 個字元的使用者提示產生高品質的回應，相當於大約 40 頁的文字。 研究人員表示，Llama 2 Long 是朝著創建更通用、更通用的 AI 模型邁出的一步，可以滿足用戶複雜多樣的需求。 他們也認識到此類模型的潛在倫理和社會影響，並呼籲就如何負責任和有益地使用它們進行進一步的研究和對話。
另請閱讀：