Google發表最新AI模型Lumiere！強大運算為市面上AI影片生成之突破

科技的發展日新月異，幾乎每過一段時間就會有階段性的突破。近日，Google發表了全新影片生成AI模型「Lumiere」；與曾被濫用在AI換臉影片所使用的「DeepFaceLab」不同，Lumiere主打的是從無到有的生成及風格化視覺處理，它能夠靠著文字指令產生連續影片，或是上傳原有的圖片、影片，讓Lumiere產生不同風格化的作品。

強大的運算系統，讓影片「無中生有」，或讓「圖片動起來」

 

Lumiere主要透過 STUNet 架構（Space-Time U-Net architecture）來生成影片，與其他現有AI影片模型截然不同的是，現有的AI影片模型大多是先建立一個關鍵影格，後再逐格合成連續影片所需的關鍵幀，但這會導致影片產生不自然或抖動。

 

而使用STUNet 架構的Lumiere，則是利用模型學習物體多個時、空間的移動及變化軌跡，所以能夠直接將一次性指令運算為「連續性的畫面」，讓影片顯得更加真實及流暢。

 

從示範影片中，我們可以看到使用者輸入「一隻帶著好笑墨鏡的狗正在開車」指令後，Lumiere所產生的真實畫面；或者，我們將名畫「戴珍珠耳環的少女」上傳，並輸入「女孩眨眼及並微笑」的指令，就可以得到動起來的名畫。

 

 

 

或者，丟入一張靜止的篝火或蝴蝶照片，使用「Cinemagraph」功能，圈起想要營造動態的範圍，Lumiere也能產生搖曳的火焰和撲動的翅膀。

 

生成風格化系列影片，或進行影片修復

 

Lumiere運算系統的強大可不止如此，「Stylized Generation」功能顯示，當使用者上傳了一張螢光藍的蘑菇參考圖，並輸入「跳舞的熊」指令；AI就能參考上傳素材的「材質與風格」，隨即產出與參考圖風格一致的指令作品。靠著此功能，使用者可以大量產生同系列的動圖，不論是卡通或手繪風格，都難不倒Lumiere。

 

 

 

如果原被遮蔽或是有損毀也沒關係，將被遮擋的影片丟進Lumiere使用「Video Inpainting」功能處理，也能夠得到運算後完好如初的修復影片。

 

 

若是上傳一段完整的影片到Lumiere，可以讓模型將你的影片主體替換材質，比如將跑步中的真人，換置為木製效果人、紙人、磚塊人、花人等。

 

 

 

AI使用上的爭議及道德問題？

 

回到大眾最關心的議題，AI影片是否會造成更多紛擾？

 

其實上述可見，這次的示範影片幾乎都是針對物品或是動物為主，少數人像示範中，人物面部也已模糊處理；顯然在功能部分，正面人像處理並非Lumiere的主打；且若仔細觀察Lumiere產生之影片，也仍能夠看出一些不自然的銜接或抖動。

 

綜觀而言，目前的AI技術在影像處理方面還沒發展到人眼看不出來的地步，且處理真人面部表情需要大量運算，即使是之前的「DeepFaceLab」不雅影片換臉風波，也需要「一定數量的正、側臉素材」作參考，並不是什麼角度的影片都能換臉；是故，單就相同事件來說，發生在Lumiere的機率並不高。

 

而目前的AI影片生成技術也無法取代人類作業，因若要達到相同效益，目前AI所需花費也將比人類高出數倍，並不符合經濟效益。

 

Lumiere的研發是為了能讓使用者輕鬆地創造影像內容，但目前Google尚未對外提供這項產品的服務。面對AI的持續進步，大眾應當將之當作「有效的輔助工具」看待，避免因不必要的恐慌及猜忌，而拒絕它們的存在。

 

 

 

 

 

（圖片來源：Lumiere YouTube頻道截圖、Lumiere官方網站）