更多

    Element Music 用 AI 生成音樂 實時產生音效及人聲說話

    Eric Chong
    Eric Chong
    商業・科技・創業・編輯

    AI 生成技術愈來愈成熟,從文字的 ChatGPT 到圖像的 Dall-E 都成為熱門技術及話題。其實,本地創業公司 Element Music 也開發 AI 生成技術,專攻音樂和音效市場,其中 AI 生成音樂引擎 Kola 將用於 Sandbox 元宇宙內,實時產生音樂、環境音效和說話人聲。 Element Music 創辦人蔡佳曉和江流稱,該技術已就緒可用,正在尋找更多商業用途。

    生成 AI 是近期興起的人工智能技術,大多集中在文字、圖像、影像,而生成聲音則較獨特。Element Music 的 AI 生成音樂引擎可產生動態聲音效果,例如用在遊戲內有更逼真的聲效,有助營造環境氣氛;甚至用在元宇宙遊戲內,根據土地、當前用戶情緒等生成相關的音樂。

    該引擎亦有 Tech-to-Speech (模仿人聲)的功能,除了生成獨特的聲線,只要用戶提供 5 秒說話即可產生其聲音。江流表示,目前與 Sandbox 合作把 Kola 引入元宇宙內,根據遊戲環境生成獨特的背景音樂,又或按遊戲情節產生更真實的音效。用戶又可在遊戲內「說話」,把文字對話變成聲音。這些與音樂和聲音有關的新功能,預計在今年內隨遊戲推出。

    Kola 將用在 Sandbox 的元宇宙遊戲內,產生即時對話,令溝通不只止於文字。

    結合 Web3 生成 NFT 音樂

    Kola 又將用於 Web3 產業,與熱門的 NFT 項目 Azuki 合作。Azuki NFT 為日系漫畫風格頭像,發行共 1 萬個。該項目已獲新世界發展行政總裁鄭志剛投資。

    Azuki 引入Kola 技術為每個頭像產生獨一無二的背景音樂。江流指出, 之前的虛擬身分只有影像,如買入限量 NFT 作為虛擬世界的頭像,現在加入獨特的音樂,更能凸顯用戶的身分。

    江流補充,目前已建立 AI 生成音樂引擎的基本技術,下一步尋找市場機會。她認為有幾個潛在用途,如藝人給擁躉的祝賀語句,亦可透過生成技術產生有如真人發聲的說話,同時可結合加密資產技術,將 NFT 圖像配合相應的留言。

    在元宇宙內可根據環境和氣氛生成相關的音樂,加強現場感。

    AI 生成技術面對成本挑戰

    要發展 AI 生成技術最大的挑戰是成本。江流指出,開發 Transformer 的生成模型需要大量運算資源訓練模型,以創業公司而言其實難以負擔。幸運有各培育計畫和加速器提供公共雲使用金額,勉強足夠訓練基本可用的生成模型。

    這亦是蔡佳曉與江流兩人選擇來港創業的原因之一。蔡佳曉說,美國的創業氣氛雖然活躍,但競爭大、支援少。香港提供的創業資源較豐富、支援也多,而且較少從事音樂科技相關的創業公司,相信有一定的競爭優勢。

    而兩人的學歷及工作資歷亦見優勢。蔡佳曉師承賓夕法尼亞州大學 Brett Hemenway Falk 教授所研究的加密技術,及後曾在抖音參與盈利團隊工作。江流則在史丹福大學完成碩士課程,之後投身芝加哥的投資公司 FairX,公司並獲 Coinbase 收購,成為加密貨幣衍生品部門。她也曾在摩根大通從事量化交易。

    他們在 2019 年於香港創立 Element Music,到 2021 年 2 月獲批 10 萬港元數碼港創意微型基金,也入選數碼港培育計畫獲 50 萬港元資助,同時亦加入多個加速器,如 Sandbox 和幣安旗下的 MVB 等。

    獨立音樂平台與 AI 同步發展

    話說回頭,Element Music 成立初期其實是獨立音樂平台,並非從事 AI 生成技術。蔡佳曉與江流在香港及美國升學期間參加大型獨立音樂活動,認識一些音樂人和科技人,成為創立 Element Music 的基礎。

    然而,獨立音樂平台在香港其實不容易尋找市場空間。既然遇上業界興起人工智能生成新技術,於是同步發展音樂生成技術,協助音樂人突破版權的樽頸。蔡佳曉強調,希望利用 AI 生成音樂支援獨立音樂人發展,爭取權利和增加收入,甚至將獨立音樂人用 AI 創作的音樂融入社交平台,如 Instagram、YouTube、抖音等,突破傳統版權的限制。

    您會感興趣的內容

    相關文章