){kind=link}
研究人員 Apple 開發了一種名為 ReALM（參考解析語言建模）的人工智慧系統，旨在從根本上改善語音助理理解和回應命令的方式。
在一篇研究論文中 Apple 描述了一個新的框架，用於大型語言模型如何解決引用解析問題，其中包括破解對螢幕上物件的模糊引用，以及理解會話和背景上下文。因此，ReALM 可以實現與裝置更直觀、更自然的互動。
指稱識別是理解自然語言的重要組成部分，允許使用者在對話中使用代名詞和其他間接指稱而不會混淆。對於數位助理來說，這種能力歷來是一個重大挑戰，因為需要解釋各種口頭訊號和視覺訊息。 ReALM 系統來自 Apple 旨在透過將複雜的參考識別過程轉變為純粹的語言建模任務來解決這個問題。透過這種方式，她可以理解對螢幕上顯示的視覺元素的引用，並將這種理解融入對話流程中。
ReALM 使用文字表示重建螢幕的視覺結構。這包括解析螢幕物件並排列它們以創建反映螢幕內容和結構的文字格式。研究者 Apple 研究發現，該策略與針對基準解決問題的語言模型的特殊調整相結合，顯著優於傳統方法，包括 OpenAI 的 GPT-4 功能。
ReALM 可使用戶根據螢幕上目前顯示的內容更有效地與數位助理進行交互，而無需精確、詳細的說明。這可以使語音助理在各種情況下更加有用，例如幫助駕駛員在駕駛時導航資訊娛樂系統，或透過提供更簡單、更準確的間接互動方式來幫助殘疾用戶。
Apple 目前已在人工智慧領域發表多篇研究論文。上個月，該公司推出了一種學習大型語言模型的新方法，可以無縫整合文字和視覺資訊。預計 Apple 將在 6 月的 WWDC 大會上推出多項 AI 功能。
另請閱讀：