人工智能

Adobe又逆天!不用機器學習,用13.5M軟件把《長安十二時辰》變成水墨動畫

大數據文摘出品

作者:曹培信

用過修圖軟件的同學們應該都知道,利用強大的GAN,已經可以實現一鍵轉換照片風格的功能,比如將你拍的風景照轉換成一副印象派的畫作。

現在,輕松轉換視頻風格的軟件也誕生了!

Secret Weapons發布了一款簡單而又強大的軟件EbSynth,由布拉格捷克技術大學和Adobe共同研發。這款只有13.5M的免費工具,輕松幾步就可將視頻素材轉換為各種你想要的風格“動畫”。

該軟件將一個或多個手動生成的key幀的樣式應用的視頻的每一幀上,從而完成整個視頻的風格遷移。

簡單來說,就是從一段視頻中選出幾幅圖,換成你想要的風格,錄入程序,整個視頻就能全部變成你想要的畫風了。

像這樣??

想想看,各種特效制作、或者動畫畫師如果有了這一技術的加持,可以只挑選其中某個鏡頭進行特效處理,然后用這個軟件瞬間獲得大片視頻,五毛也能做出酷炫特效!

Secret Weapons目前免費開放下載,文摘菌也親自試了下這款神奇的軟件,挑選了目前超火的視頻《長安十二時辰》視頻片段,看看能否把它變成更加中國風的水墨畫。

先來看看最后的效果,非常不錯??

更有趣的是,Adobe這次的研究沒有使用機器學習,到底如何操作?一起看看。

文摘菌實測,看水墨風《長安十二時辰》

第一步:下載、安裝軟件

軟件下載鏈接:

https://ebsynth.com/

有Windows版本和IOS版本,會根據你的機型自行下載適配的軟件。文摘菌用的是Windows系統。下載之后是個壓縮包,解壓即可。

第二步:準備素材

這個軟件的使用需要一段視頻,文摘菌決定使用現在大火的電視劇《長安十二時辰》里的一個片段。

視頻下載后就要將素材轉化為一幀一幀的圖,這里文摘菌用的是Premiere來實現這一步,推薦轉換成PNG格式。

生成幀圖的教程可以查看鏈接:https://blog.csdn.net/qq_28372745/article/details/80743531

這樣就得到了一系列的PNG圖片,存放到一個文件夾中。

然后我們要將其中的某幾張圖改為參照的Key圖,這里又要向大家安利一個免費網站——Fotor。

相關鏈接:

http://goart.fotor.com/

這個網站可以把本地的圖片在線修改成你想要的風格,修改為水墨風的圖片就是我們的key圖啦~

第三步:開始渲染

我們運行ebsynth軟件,界面如下:

在Keyframes中選擇剛才制作的key圖(至少一張),Video中選擇剛才制作的一系列PNG圖,下面的Stop填寫開始圖片序號和結束圖片序號,Keyframe填寫Key圖的序號。

點擊Run all,就開始渲染啦,渲染結束后就會自動輸出一個文件夾Out,里面就是渲染好的所有PNG圖,再將這些圖用Premiere做成視頻就OK了!

生成視頻的教程可以查看鏈接:

https://zhidao.baidu.com/question/1574197317740227060.html

下面是文摘菌得到的結果,效果還不錯!

https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_cover&vid=wxv_896112507058847744

為了讓大家更清楚地了解Key圖的作用,文摘菌在這里使用了兩張Key圖,可以看到視頻中間風格的變化。

并非機器學習,Adobe參與研究

EbSynth是基于布拉格捷克技術大學和Adobe共同的研究,該項目由Secret Weapons創始人Ond?ej Jamri?ka領導。

EbSynth網站顯示了該團隊最新論文“Stylizing Video by Example”的演示視頻。

論文鏈接:

https://dcgi.fel.cvut.cz/publications/2019/jamriska-tog-ebsynth

視頻鏈接:

https://www.youtube.com/watch?v=0RLtHuu5jV4

與該領域的其他研究不同,它不是基于機器學習,而是基于最近在風格遷移和紋理合成方面的研究,使用的是非參數紋理合成算法。

早在2013年,已經有人提出了關鍵幀程式化范式,藝術家在其中繪制一個或多個關鍵幀一個Key圖,然后算法將繪制的樣式同步到序列的其余部分。

EbSynth與上述方法主要區別在于,它不需要知曉目標場景的底層3D結構。相反,EbSynth通過獲得輸入視頻的原始顏色信息和近似位置信息進行轉換,再加上patch-based合成算法,EbSynth在保持藝術意圖的同時,視覺效果也相當卓越了。

該算法主要由五個引導模塊組成(如上圖所示):

  • Color guide:捕捉外觀變化,例如:面部表情、細微的布料變形、不同的光照等;
  • Mask guide:幫助算法區分對象的邊界來處理遮擋。這個功能是可選的,當在視頻中沒有嚴重的遮擋或不需要精確地描繪對象邊界可以選擇不使用該模塊;
  • Positional guide:幫助算法保持關鍵幀的結構,處理不同特征之間的模糊性相似;
  • Edge guide:突出了對象的邊緣和突出特征,防止漏掉細節;
  • Positional guide:保持風格在時間上的一致性,避免與前幀有明顯的變化。

盡管已經達到了這樣的效果,作者在論文中還是說明了這種算法有一定的局限性,比如人物身上光照的變化可能會對Color guide引起誤導,從而出現文摘菌在實測視頻中出現的由于更換Key幀引起的結構變化,作者表示這是他們下一步努力的方向。

相關報道:

我還沒有學會寫個人說明!

大數據如何為影視產業帶來顛覆性變化?

上一篇

21世紀了還愚公移山?數據庫這么遷移更穩定!

下一篇

你也可能喜歡

Adobe又逆天!不用機器學習,用13.5M軟件把《長安十二時辰》變成水墨動畫

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃
海天娱乐群 一肖三码 深圳风采028开奖结果 历届西甲最佳射手 三分彩怎么玩 真人天天麻将 幸运28绝对是人工开奖 36选7分析软件 长春麻将微乐下载新版 多乐彩走势图 西部数据股票价格