Root Nation文章技術Phi-3-mini 是突破 Microsoft 在人工智慧領域?

Phi-3-mini 是突破 Microsoft 在人工智慧領域?

-

Phi 人工智慧模型 Microsoft - 小、便宜且不會產生「幻覺」。這就是他們對新語言模型的評價,預計它會有一個美好的未來。

GPT 絕對很棒,但同時它也非常昂貴,不可能適合所有人。由於這些和許多其他原因 Microsoft 正在試驗更小的人工智慧模型。據說 Phi-3-mini 甚至讓 OpenAI 工程師的工作相形見絀。

也很有趣: 未來的電晶體:晶片的新時代正在等待著我們

ChatGPT 不是萬能藥

ChatGPT 是一項經過資助、策劃和改進的發明 Microsoft。其實它不屬於 Microsoft,以及 OpenAI 公司, Microsoft 不擁有(她是主要投資者,但不是最大的投資者)。 GPT 語言模型給了 Microsoft 與其他正在奮起直追的大型科技公司相比,這是一個巨大的優勢。然而,GPT 存在大量問題,其中許多問題尚未解決。

首先,這是一個資源非常密集的語言模式。面向網路 Microsoft OpenAI 的 Copilot 或 ChatGPT 會產生非常高的營運成本 Microsoft。這不僅是GPT的特徵,也是所有主要語言模型的特徵。此外,GPT 與其競爭對手一樣,很容易產生“幻覺”,即它可以產生對包含虛假或誤導性資訊的查詢的回應。這樣的模型吸收的數據越多,就越傾向產生相似的內容。因此,幻覺和虛假陳述並不是從數字手指中吸出來的神話。使用者經常注意到大型語言模型經常會犯錯誤,提供不準確的數據,並根據不存在的事實進行操作。

Microsoft 披

這兩個問題都非常嚴重,這就是為什麼OpenAI, Microsoft、Meta、Google 等公司不僅致力於開發大語言模型技術,還致力於開發小語言模型,在實踐中可以產生更好的結果。

數位會計師的助手不需要了解太多量子物理學。它可以更小、更簡單(因此更便宜),並且透過僅對其目的所需的資料進行訓練,理論上應該更少產生幻覺。雖然,這說來容易做來難。 GenAI 技術仍然是一項瘋狂的 IT 冒險。儘管工作進展前所未有,但在根本性議題上仍難以取得實際突破。但公司 Microsoft 最近宣布了這樣的突破。我們正在談論一個小語言模型 Microsoft 菲。

也很有趣: 台灣、中國和美國如何爭奪技術主導地位:芯片大戰

什麼是已知的 Microsoft 披

首先需要說明的是,實驗是在沒有OpenAI公司參與的情況下進行的。也就是工程師的開發 Microsoft.

- 廣告 -

楷模 Microsoft Phi 是一系列小語言模型 (SLM),在各種測試中取得了優異的結果。第一款模型 Phi-1 擁有 1,3 億個參數,在現有 SLM 中取得了最佳的 Python 編碼結果。

Microsoft 披

隨後,開發人員專注於語言理解和思考,創建了 Phi-1.5 模型,該模型也擁有 1,3 億個參數,並且表現出與參數五倍的模型相當的性能。

Microsoft 披

Phi-2 是一個 2,7 億參數模型,展示了出色的推理和語言理解能力,其性能達到具有 13 億參數的最佳基線模型的水平。 Phi-2 因其在模型擴展和資料管理訓練方面的創新而從其他模型中脫穎而出。

Microsoft 披

它可以在Azure AI Studio模型目錄中找到,這有助於語言模型領域的研究和開發。 Phi-2 於 2023 年 2 月發射。開發人員保證它的效能與 Meta 的 Mistral 或 llama 3 一樣好。而且 Phi- 的表現甚至比之前的版本還要好。

Microsoft 披

然而,剛剛發布的 Phi-3 型號在品質上是全新的。至少從提供的資訊中你可以判斷出這一點 Microsoft。該公司表示,根據所有已知基準測試的指標,Phi-3 的表現比其他類似規模的模型都要好,包括語言分析、程式設計工作或數學工作。

Microsoft 披

Phi-3-mini 是該型號的最小版本,剛剛向所有感興趣的各方提供。也就是說,從23月3日起就可以使用了。 Phi-3,8-mini 有 億個參數,根據測量 Microsoft,效率是相同尺寸的任何其他型號的兩倍。可以在雲端服務的AI模型目錄中找到 Microsoft Azure,Hugging Face 機器學習模型平台,以及 Ollama,用於在本機電腦上執行模型的框架。

正如他所聲稱的 Microsoft,Phi-3-mini不需要強大的晶片 Nvidia。該模型可以在普通電腦晶片上工作。或者甚至可以安裝在未連接到網路的手機上。

較低的功率也意味著模型不會那麼準確。 Phi-3 不適合醫生或稅務會計師,但有助於完成更簡單的任務。例如,用於定位廣告或總結網路上的評論。

由於較小的模型需要較少的處理,因此私人公司使用起來會更便宜。也就是說,在 Microsoft 將會有更多的客戶希望將人工智慧納入他們的工作,但認為它太昂貴了。不過,目前尚不清楚它們的成本是多少。

目前尚不清楚中小型號何時​​出現。但後者會更強大,也更昂貴。雖然已經知道Phi-3-small將有7億個參數,Phi-3-medium將有多達14億個參數。

- 廣告 -

另請閱讀:

如何使用Phi-3-mini?

GPT-4 Turbo 需要強大的 AI 晶片,但價格仍然非常昂貴。 Phi-3小型語音模型可以離線工作,無需雲端,甚至可以使用手機上的晶片。

Phi-3 不是面向最終用戶的產品,而是一種開發人員能夠在其應用程式中使用和實施的技術 - 包括基於雲端的(即遠端定位的)以及本地和離線工作的技術。它有望與設備及其組件無縫協作,例如手機、汽車及其資訊娛樂系統,甚至物聯網感測器。在某些情況下,這項技術的價值是無價的。

Microsoft 披

Microsoft 甚至還給了一個具體的例子,這樣我們就不用發揮我們的想像了。想像一下,一位農夫檢查他的農作物,發現葉子、莖和樹枝上有疾病的跡象。由於遠離電信塔,他只需拿出手機,拍下受損情況的照片,將其放入使用 Phi-3 技術的應用程式中,模型就會快速離線分析照片並給出建議究竟如何對抗這種疾病。

正如他解釋的那樣 MicrosoftGPT成功的關鍵是利用海量資料進行訓練。對於如此大的數據集,高數據品質是不可能的。同時,在訓練 Phi 模型時,使用了完全相反的 OpenAI 方法。重點不是在模型中塞滿訊息,而是增量和徹底的學習。

Microsoft 披

研究人員沒有使用原始網路數據, Microsoft 創建了 TinyStories 資料集,產生了數百萬個微型「嬰兒」故事。這些故事被用來訓練非常小的語言模型。然後,研究人員進一步創建了 CodeTextbook 數據集,該數據集使用精心挑選的公開數據,並根據教育價值和內容品質進行篩選。然後,這些數據經過多次過濾,並反饋到大型語言模型 (LLM) 中以進行進一步綜合。

所有這些使得創建足以訓練功能更強大的 SLM 的資料數組成為可能。此外,Phi-3模型的開發採用了多層次的風險管理和緩解方法,包括評估、測試和手動調整。結果,正如他聲稱的那樣 Microsoft,使用 Phi-3 模型系列的開發人員可以利用 Azure AI 中提供的工具集來建立更安全、更可靠的應用程式。

另請閱讀: 從科學的角度來看的瞬移及其未來

Microsoft Phi 會取代 ChatGPT 類型的模型嗎?

一點也不。小語言模型 (SLM) 即使在高品質資料上進行訓練,也有其局限性,並且不是為深度學習而設計的。由於其規模和計算能力,大型語言模型 (LLM) 在複雜推理方面的表現優於 SLM。法學碩士現在並將繼續在藥物發現等領域特別有用,在這些領域,人們必須搜尋大量科學論文並分析複雜的模式。另一方面,SLM 可用於更簡單的任務,例如總結長文本文件的要點、創建內容或為客戶服務聊天機器人提供支援。

Microsoft 披

Microsoft她說,已經在內部使用混合模型集,其中 LLM 發揮主導作用,將某些需要較少計算能力的查詢引導至 SLM,同時由 SLM 自行處理其他更複雜的查詢。 Phi 的定位是在裝置上運算,而不使用雲端。然而,小型語言模型與雲端大型模型所能獲得的智慧程度之間仍然存在差距。由於法學碩士的不斷發展,這種差距不太可能很快消失。

Phi-3 尚未得到外部獨立機構的驗證。 Microsoft 有時會談到在極端情況下效率或能源效率比競爭對手高 25 倍,聽起來相當不可思議。雖然,另一方面,人們不能忘記這些年已經過去了 Microsoft 它是 IT 創新領域的明顯領導者,這一事實讓我們稍微放棄了一點,也許這就是為什麼我們並不真正相信它。基於人工智慧的程式可以立即響應並離線運行而不是生成?這將是當前革命的一個有價值的高潮。不幸的是,有一個關鍵問題。

另請閱讀: 關於 Neuralink Telepathy 晶片的所有資訊:它是什麼以及它如何工作

Phi-3 來自 Microsoft 只聽得懂英語

Phi-3 並沒有吞噬大量丟給它的 PB 數據。仔細而嚴格的模型訓練涉及一個小問題。 Phi-3 接受過英語資訊訓練,目前還不知道其他語言。不只烏克蘭語,還有德語、西班牙語、法語或漢語。當然,這大大降低了它對全球大多數用戶的吸引力。

Microsoft 披

但在 Microsoft 保證其開發和改進工作正在進行中。儘管您不應該欺騙自己,因為烏克蘭市場是任何大公司的優先市場。因此,我們還需要等待很長時間才能獲得烏克蘭語的支持。但這一事實從未阻止愛好者和那些想要跟上進步的人。

另請閱讀: 

Yuri Svitlyk
Yuri Svitlyk
喀爾巴阡山脈之子、不為人知的數學天才、“律師”Microsoft,實用的利他主義者,左右
- 廣告 -
註冊
通知有關
客人

0 留言
嵌入式評論
查看所有評論