報導／呂少玄
攝影／林郁靜、林慧菁
本院資訊所特聘研究員兼所長廖弘源說明，如何藉由人工智慧（AI）技術將業餘觀眾所攝的不同視訊片段，重組為接近專業導演剪接水平的完整影片。北科大互動設計系研究生Ariel Josue Pereira RAMIREZ介紹，如何透過所開發的互動APP，了解當代人對瓜地馬拉傳統文化的觀點。本中心執行秘書陳淑君博士說明，「臺灣農村博物館」如何運用知識圖譜，達到更細膩的資料呈現。
數位人文學者的研究方式不只是埋首在字裡行間，而是藉重各種數位科技與智慧資料，進行更宏觀或有別於傳統途徑與視角的研究。這些技術可能寡聞少見，也可能如人工智慧（Artificial Intelligence, AI）、虛擬實境（Virtual Reality, VR）與地理資訊系統（Geographic Information System, GIS）等耳熟能詳。本文從「第十一屆數位典藏與數位人文國際研討會」（11th International Conference of Digital Archives and Digital Humanities, DADH 2020）中，較具生活化面向的研究議題切入，展現近年蓬勃發展或新興的技術在數位人文研究不同層面的應用，看它如何不只在學術內，亦能在學術之外，與我們的生活擦出火花。
人工智慧重組完整演唱會影片 擴增實境協助傳統文化復振
這樣的情境我們都很熟悉：在偶像的演唱會上，粉絲們紛紛以手機拍下精采片段，並迫不及待地上傳至Youtube，與全世界分享這無與倫比的時刻。「我們能夠用觀眾拍的這些不完整、不協調的視訊片段，重組出完整的表演嗎？」本院資訊科學研究所特聘研究員兼所長廖弘源在專題演講「『演唱會視訊片段自動混搭』多媒體處理技術」中，分享這個有趣的研究過程。
專業導演能憑藉經驗，依音樂節奏、情緒與演出內容等，順暢地切換鏡頭角度與遠近，要如何訓練電腦成功模擬？廖弘源團隊先歸納出專業演唱會視訊所使用的8種鏡頭類型，並運用數百萬張演唱會照片，訓練電腦學習判斷每張影像的內容組成（例如有人物、肩膀、麥克風等），再透過分析，整合這些內容組成間的關係、大小與位置，對應到其中一種鏡頭類型。如此，電腦就能將不同視訊片段，模擬專業導演的運鏡手法，重組出高品質且正確率達90%的完整視訊內容。
這樣還不足以端出一支完美的表演影片。「當我們聽到《天鵝湖》的音樂，腦中會自動出現芭蕾舞劇的畫面；電腦有辦法聽到一段音樂，就自動挑出合適的視訊片段嗎？」廖弘源團隊首先透過不同的音樂節奏，訓練電腦判斷音樂中所屬樂種與樂器組成，接著再將此結果與專業導演所攝的8種鏡頭類型作對應統計。結合二階段成果，電腦便能在接收音樂時，從觀眾拍下的視訊片段中自動挑選合適的部份，重組出幾近專業導演所剪接的影片。
廖弘源透過人工智慧，將大量演唱會視訊片段資料，轉化為更具價值的智慧資料，讓我們看到未來的應用情境。國立臺北科技大學互動設計系研究生Ariel Josue Pereira RAMIREZ與該系教授兼系主任吳可久，則計劃開發一款APP，運用擴增實境（Augmented Reality, AR）技術協助文化復振，讓更多人接觸及認識瓜地馬拉流傳千年、可上溯至馬雅文化的傳統織紋。
Ariel Josue PEREIRA RAMIREZ的〈Using Traditional Guatemalan Textile Patterns and Designs To Inform About Guatemalan Culture with Aid From AR Technology〉，則從瓜地馬拉的傳統紡織品中，依不同地理區抽取出多種具代表性的紋樣母題（motif）與象徵意義，讓使用者藉由APP認識各地理區的特色紋樣，並運用這些數位化的紋樣，重新創作出自己的瓜地馬拉織品。透過內建AR相機，使用者可將再創作的織品結合生活場景，上傳至社群分享。此APP不僅是為了趣味體驗與推廣，更大目的在於透過大量使用者參與創作的群眾外包（crowdsourcing）行為，蒐集並分析當代人對瓜地馬拉傳統文化的觀點。
運用AR技術，將重新創作的織品與生活場景結合。（圖片提供／Ariel Josue PEREIRA RAMIREZ）運用AR技術，將重新創作的織品與生活場景結合。（圖片提供／Ariel Josue PEREIRA RAMIREZ）
導入知識圖譜 提供更智慧的檢索與閱讀
我們認知的各種知識存有許多或隱或現的脈絡關係，閱讀文本與資料時，是否有方法幫助讀者理清它們之間的關聯，提供具結構化的閱讀加速理解？以《論語》為例，全書近500章，各章內容獨立，閱讀時難以掌握書中所涉人、物、事等關係的全貌。北京大學信息管理系王鳳翔所發表的論文〈基於知識圖譜的《論語》可視化系統設計與構建〉，運用知識組織與知識圖譜等原理，將《論文》文本中闡述的主題思想與人物間關係，進行知識結構化、賦予知識語義關係，並以網絡圖呈現這些關係，提供一種非線性閱讀與理解文本的方式。
以「顏回」為例，頁面中呈現所有與顏回有關係的人物、人物間的關係類型、對話反映的概念與《論語》該段落原文。（圖片提供／王鳳翔）
無獨有偶，本中心執行秘書陳淑君團隊所發表的〈應用鏈結資料產生知識圖譜：以農村博物館為例〉，展現了知識圖譜的另一種應用情境，並進一步鏈結外部資源，豐富既有資料的完整性。該團隊將本院所執行「臺灣農村社會文化調查計畫」取得的跨學科田野調查資料結構化並賦予語意關係後，於成果網站「臺灣農村博物館」（下稱農博）提供更具深度及細膩度的資料呈現。
農博以視覺化方式，展示臺灣農村知識的組織架構，並基於資料間的語意關係，讓使用者能以時間、空間等多維角度，以更快速有效的方式，探索、瀏覽整合自站內田調資料與外部鏈結的開放資料。未來則期望更進一步將該批語意化資料發布至本中心的「鏈結開放資料平台」，提供使用者進行SPARQRL語義檢索。
此圖說明「臺灣農村博物館」如何鏈結內外部相關資料與內容，呈現空間資訊。（圖片提供／陳淑君）
GIS與虛擬實境 展現文本研究新「視」角
知識圖譜的應用，為文本提供了更具結構與語義化的閱讀與探索方式。前述二研究之應用是對文本本身進行處理，而德國馬克斯・普朗克科學史研究所（Max Planck Institute for the History of Science, MPIWG）博士後研究訪問學者林農堯團隊、美國賓州科學史研究所Tristan Edward Revells則在文本之外，提供另一種以視覺輔助文本閱讀與研究的方式。
將歷史地圖或文本中含有空間資訊的圖像，透過地理定位（Georeferencing）與真實地理座標關聯，再套疊於現代地圖上，是常見的研究方式。然而，地理定位的成本不低，許多典藏機構僅能達到數位化與發布圖像，難以進一步處理，對研究者而言更是一道不易跨越的門檻。林農堯等發表的〈數位典藏機構中建立空間人文環境〉一文，企圖以團隊開發的「Lite Georeferencing IIIF」系統作為解決之道，讓研究者能以簡便方式，將圖像與地理座標進行關聯。
林農堯指出，「把資料放到空間上，往往可以得到很清楚、具趨勢的看法」。該系統提供結合文字與圖像的研究方式，讓研究者能在文本文字之外，透過掌握相關圖像的地理資訊與空間位置，發掘出更豐富多元的研究議題。由於該系統運用了國際圖像互通架構（International Image Interoperability Framework, IIIF）技術，期望圖像的地理座標能藉此互通共享，讓研究者可在Desktop GIS或Web GIS環境中顯示這些圖像，以進行相關研究，亦可對不同機構典藏的IIIF圖像進行地理位置檢索，有別於傳統針對後設資料的文字檢索。
「Lite Georeferencing IIIF」系統展示了IIIF圖像與地理座標關聯情形。（圖片提供／林農堯）
「Lite Georeferencing IIIF」處理的是平面圖像，中國近代史學者Tristan Edward Revells的〈Complementing the Historical Archive with Interactive Digital Modeling for Public History〉則展示了立體影像對研究之助益。他運用在動畫與數位媒體產業常見的技術——3D建模，數位重建工廠內部的空間與機器設備，並以虛擬實境裝置重現。
Tristan Edward Revells視覺化與立體化歷史資料的做法，提供了文本研究的另一種手法與視角，亦可作為歷史與人文學者參與公眾史學（public history）的工具。
建於1940年的中國貴州遵義酒精廠外觀，攝於2019年。（圖片提供／Tristan Edward Revells）使用者可透過VR裝置觀看數位重建之工廠內部。（圖片提供／Tristan Edward Revells）
一個全新的數位世界正在開展
自2009年國立臺灣大學主辦「第一屆數位典藏與數位人文國際研討會」，迄今已過了11個年頭。會議期程從最初的2天，逐年擴展至如今的4天，顯示了臺灣數位人文領域的蓬勃發展。本屆會議榮譽主席、臺大資訊工程系暨研究所特聘教授項潔一路見證此歷程，在閉幕式中致詞表示，現今的盛況是10年前難以想像的。當年參與的專家學者很少，幸賴國立政治大學前講座教授金觀濤一直鼓勵要堅持下去，加上臺灣數位人文學會的支持，才讓會議持續辦理多年。
數位人文領域的蓬勃發展，說明了現代人文學者已難置身於數位世界之外。從資訊接收的載體、材料蒐集與分析的方法，以至成果展現的形式，無不隨著數位科技的發展日新月異。本屆會議全程採視訊方式進行，乃「數位典藏與數位人文國際研討會」首次嘗試，一方面係受新冠肺炎疫情影響，另一方面亦如項潔所指，「危機就是轉機，疫情隱約強迫我們去看到未來長什麼樣子」。
會議主席、本中心召集人陳熙遠呼應道，全球疫情蔓延之際，學者更為依賴數位平台作為跨國學術交流的管道。所謂「塞翁失馬，焉知非福」，疫情促進了各領域學術研究的數位轉變，意味著「一個全新的數位世界正在開展」。
政大資訊科學系特聘教授劉昭麟亦在閉幕式中代表臺灣數位人文學會，感謝執行團隊的付出，圓滿完成本屆會議，並期許臺灣數位人文研究更上一層樓。
「第十二屆數位典藏與數位人文國際研究會」將由國立彰化師範大學接棒主辦。該校歷史學研究所副教授李宗信表示，陳明飛校長非常支持AI創新加值與數位人文，很高興彰師大能承辦下屆會議。
「數位典藏與數位人文國際研討會」已歷經十一屆，透過各屆不同主題的導引與議程規劃，揭示臺灣數位人文研究潛力無限，今後將持續探討究國際相關發展趨勢。讓我們共同期待臺灣數位人文學下一個輝煌的十年！
臺灣數位人文學會理事長劉昭麟（左起）、本屆會議榮譽主席項潔、本屆會議主席陳熙遠，以及下屆會議主辦單位國立彰化師範大學代表李宗信，分別於「第十一屆數位典藏與數位人文國際研究會」閉幕式中致詞。
延伸閱讀：
【DADH 2020系列報導一】回首臺灣數位人文之路 展望未來新可能
【DADH 2020系列報導二】智慧資料×數位工具 擴大知識邊界
【DADH 2020系列報導三】掌握研究問題意識 釋放資料潛力
訂閱RSS