近期,由米哈遊(miHoYo)創始人蔡浩宇旗下的 AI 公司發布了震撼業界的 Large Performance Model 1.0 (LPM 1.0,大型角色表演模型)。這個新技術不再只是單純的影片生成工具,而是專注於「第一視角虛擬人物互動表演」的視覺引擎。過去我們曾驚豔於 Sora 或 Veo3 所生成的高畫質人類表演影片,但那些模型本質上是「世界模擬器」,難以用於即時對話。LPM 1.0 的出現,徹底解決了虛擬人物在實際互動中最核心的痛點:如何讓 AI 像真人一樣,具備自然的對話、傾聽反應、情緒表達,並且長時間維持形象不崩壞(不發生臉部漂移)?這篇文章將帶您深入了解 LPM 1.0 的技術突破,以及為何它將引領我們進入「億萬個虛擬人物」的新紀元。

快速導讀陪你一起讀文章

一、 破解產業魔咒:「表演三難困境」

如果你曾看過或用過 AI 數位人(如 AI 主播、AI 客服),你一定會發現它們的通病:永遠只會機械式地對口型,眼神空洞,或是只要生成時間一長,人物的臉龐和服裝就會開始變形。

這在業界被稱為「表演三難困境」,即現有技術無法同時滿足以下三點:

  1. 高表現力(極致真實的微表情、肢體語言)

  2. 即時推理(極低延遲的互動對話)

  3. 長時身分穩定性(聊了十分鐘、半小時後,人物長相和衣服依然一致)

LPM 1.0 成為全球第一個從系統底層徹底打破這個困境的模型,讓虛擬人物首次具備了「雙向互動」的靈魂。

圖片來源:LPM-1.0

二、 LPM 1.0 的三大核心技術亮點

根據官方釋出的論文與技術說明,LPM 1.0 之所以能達到如此驚人的效果,歸功於以下幾個關鍵技術:

1. 嚴苛篩選的 3100 萬高品質訓練數據

想讓 AI 擁有真人的演技,就必須餵給它最真實的表演資料。研發團隊收集了海量以「人物互動」為中心的影片,並經過極度嚴苛的淘汰機制(保留率不到 10%),最終留下 3100 萬個片段。

最特別的是,資料不僅標註了「說話」狀態,還史無前例地精細標註了「傾聽」「閒置」狀態。這讓 AI 學會了在別人說話時點頭、微笑、眼神流轉,而不是像木頭一樣呆站著。

2. 基於 WAN 2.1 的 170 億參數 DiT 架構與聲音處理

LPM 1.0 是一個標準的 DiT(Diffusion Transformer)模型,擁有高達 170 億(17B)的參數量。它是建立在開源的 WAN 2.1 I2V(圖生影片)模型基礎上進行深度優化的。

為了完美處理聲音與表情的關聯,LPM 採用了創新的「交錯雙音頻注入」技術:

  • 說話時:模型會調動嘴唇同步與高頻面部肌肉。
  • 傾聽時:模型會根據聽到的內容,產生低頻的肢體反應(如皺眉、會心一笑)。

3. 從高畫質到「即時流式互動」的 Online LPM

基礎模型(Base LPM)雖然能生成極度逼真的長影片,但運算時間較長。為了解決這點,團隊利用多階段自迴歸蒸餾技術,開發出了 Online LPM。這使得模型能夠進行無上限時間的即時推論,直接化身為低延遲的視訊通話對象。

三、 我們為何要高度關注 LPM 1.0?

LPM 1.0 不僅僅是 AI 圈的一次技術火力展示,它將對整個數位內容生態與娛樂產業產生顛覆性的影響。這也是為什麼我們說,它將催生「億萬個虛擬人物」的原因:

1. 創作者與 YouTuber 的全新工作型態

誠如許多網友的驚嘆:「如果這個技術開源或普及,YouTuber 就不需要每次都親自上陣了!」

未來的創作者只需提供聲音、文案或即時對話指令,LPM 就能生成一個完美的數位分身幫你拍攝影片,甚至代班開直播。它能根據聊天室的留言做出真實的驚訝、大笑反應,大幅降低影片製作與直播的體力成本。

2. 遊戲 NPC 迎來「靈魂升級」(米哈遊的強項)

想像一下未來的《原神》或《絕區零》,遊戲中的 NPC 不再只是重複播放幾組待機動畫和文字框。當你用語音跟 NPC 聊天時,他們會看著你的眼睛,因為你的玩笑而展露微笑,或是因為你的冒犯而皺眉。這將打破虛擬與現實的邊界,帶來前所未有的沉浸感。

3. 終極的 AI 情感陪伴

目前的 ChatGPT 或 Claude 雖然聰明,但依然是冰冷的文字或語音。LPM 技術將使得 AI 助理具備「臉孔與情緒」。當你在傾訴煩惱時,螢幕裡的虛擬人物會專注地看著你並流露同情的表情。這種提供情緒價值的能力,將讓虛擬伴侶、AI 心理諮詢等應用迎來爆發式成長。

結語

從過去的「文字對話」,到 Sora 時代的「影片生成」,再到如今 LPM 1.0 所展示的「即時角色表演」,AI 正在以不可思議的速度跨越恐怖谷理論的障礙。

雖然目前 LPM 1.0 在多人互動、動態複雜場景的物理碰撞上還有進步空間,但它已經成功證明了:一個具備自然情緒、能看、能聽、能說的虛擬人物是完全可以被實現的。隨著這類技術的持續演進與潛在的開源生態,我們準備好迎接每個人都擁有專屬虛擬 AI 夥伴的新時代了。

延伸參考資源:

 

還想了解更多各類數位行銷資訊的話,歡迎訂閱電子報、加入奇寶Line好友,第一時間接收最新資訊!後續我們台北移動學苑還會陸續舉辦各類型的行銷課程,也歡迎有興趣的行銷人可以加入我們臉書粉絲團,在粉絲專頁上與我們討論喔!

Facebook粉絲專頁:

奇寶網路
台北移動學苑

歡迎轉載KPN奇寶部落格相關文章,在轉載前請先詳閱著作權聲明轉載原則

KPN 編輯部
AUTHOR

KPN 編輯部

奇寶網路自 2006 年成立,深耕搜尋行銷產業 — 服務超過 600 家企業客戶,自主研發站內廣告系統「客樂寶」,是 Google Partners 官方認證機構。

SHARE Facebook LINE
STAY CONNECTED · 訂閱與社群

還想了解更多各類數位行銷資訊的話,歡迎訂閱電子報加入奇寶 Line 好友,第一時間接收最新資訊!

Facebook 粉絲專頁:

歡迎轉載 KPN 奇寶部落格相關文章,在轉載前請先詳閱著作權聲明及轉載原則