人工智能 (AI) 生成的音樂已經成為現實。 AI 工具現在只需要文本提示就可以創作音樂,而且結果超出了所有人的預期。
然而,這並不意味著 AI 工具可以直接創作音樂。 相反,音樂通過 AI 圖像生成器創建音樂的頻譜圖。 然後,您可以將這些頻譜圖轉換為音頻剪輯。 這是否意味著 AI 生成的音樂將在未來取代人類製作的音樂?
基於圖像的 AI 教授計算機算法以識別地點和物體的圖像。 之後,算法用於再現相似但獨特的圖像。 DALL-E 和 Stable Diffusion 就是很好的例子。 現在,您可以讓這些程序呈現您想要的任何內容。 全靠文字!
因此,可以創建頻譜圖的 AI 工具稱為 Riffusion。 這是最新的人工智能項目,從本質上講,它是一個基於穩定擴散(Stable Diffusion)的文本圖像生成器。 但他是如何變得能夠創作音樂的呢?
Riffusion 的背後是機器人專家 Heik Martiros 和軟件開發人員 Seth Forsgren。 他們想測試現代人工智能程序是否可以在音頻領域工作。 就這樣開始了 Riffusion 的音樂創作之旅。 Forsgren 是這樣談論這項技術的:“Hake 和我一起在一個小樂隊裡演奏,我們開始這個項目只是因為我們熱愛音樂。 在看到 Stable Diffusion 用於圖像生成的驚人結果後,我們問自己使用擴散方法來創作音樂會是什麼樣子?
為了找到答案,一個由兩人組成的團隊在頻譜圖圖像上訓練了開源穩定擴散。 它們與文本結合在一起。 之後,該程序能夠根據某些線索創建音樂譜圖。
起初,他們不知道穩定擴散模型架構是否可以創建足夠準確的頻譜圖圖像以轉換為音頻,但事實證明它可以做到這一點甚至更多。 Martiros 和 Forsgren 在 Riffusion 官方網站上發布了他們的結果。 起初這是一個業餘愛好項目。 但現在訪問者可以添加自己的文字提示。 這將強制 Riffusion 生成頻譜圖。 之後,訪問者可以將其用作音頻剪輯並在網站上播放。
此階段的結果質量可能不是很高。 但它絕對沒有你想像的那麼糟糕。
Riffusion 還可能會嘗試播放包含以下內容的歌曲 Eminem 風格的說唱 和韓國流行音樂。 但是生成歌詞的功能不是很好。 您將聽到悅耳的人類胡言亂語,而不是文字。 不過最有意思的是,這段亂碼還是很符合歌曲的基調的。
這項技術還沒有準備好取代人造音樂。 但該項目向我們展示了人工智能圖像處理算法仍然具有巨大潛力。 很快它就可以成為音樂作者的助手。 也許是為了得到一些靈感來寫一首歌。
你可以幫助烏克蘭對抗俄羅斯侵略者。 最好的方法是通過以下方式向烏克蘭武裝部隊捐款 拯救生命 或通過官方頁面 NBU.
發表評論