VCAI

視覺計算與人工智慧（VCAI）部門是著名的馬克思·普朗克資訊科學研究所的一部分，它站在電腦圖形學、電腦視覺和人工智慧交叉領域的全球研究最前線。該部門由備受讚譽的Christian Theobalt教授領導，其長遠願景是徹底改變我們擷取、建模以及與數位和現實世界互動的方式。他們旨在透過將現有方法與尖端的機器學習概念相結合，創建出細節豐富、穩健且高效的現實模型。

VCAI不是一個商業工具，而是一個創新引擎，其產出的基礎研究經常重新定義產業最高水平。他們的工作為電腦圖形學的新範式以及能夠感知和理解我們周圍複雜動態世界的先進智慧系統奠定了基礎。該部門的影響力透過其在SIGGRAPH、CVPR和NeurIPS等頂級會議上發表的眾多獲獎論文以及其策略合作夥伴關係（例如與Google合作建立的薩爾布魯根視覺計算、互動和人工智慧中心（VIA））得以彰顯。

如何使用VCAI

作為一個研究機構，「使用」VCAI意味著利用其學術成果。有幾種方式可以利用他們開創性的工作：

• 研究學術論文：最直接的方式是閱讀他們在各大國際會議上定期發表的論文。這些文獻提供了對最新演算法和技術的深刻見解。
• 探索開源專案：該部門經常為其重大專案發布原始碼，例如極具影響力的「用於即時輻射場渲染的3D高斯濺射」。開發者和研究人員可以使用這些程式碼來建構自己的應用或進一步推動研究。
• 關注商業衍生公司：VCAI的研究非常前沿，催生了商業企業。一個典型的例子是「the Captury」，這是一家提供無標記點運動捕捉系統的衍生公司，已被包括奧運選手在內的專業人士使用。
• 參與社群互動：該部門舉辦研討會、講座和工作坊，為該領域的學生和專業人士提供學習和合作的機會。

VCAI的核心功能

• 3D重建與神經渲染：VCAI在從影像和影片中擷取和渲染3D場景方面處於世界領先地位。他們的「3D高斯濺射」研究獲得了SIGGRAPH 2023最佳論文獎，並徹底改變了即時輻射場渲染技術。
• 數位人與虛擬化身：該實驗室擅長創建極其逼真的數位人。像「HDHumans」、「Face2Face」（曾在吉米·金摩直播秀上著名演示）和「VNect」等專案，實現了即時的面部重演、單攝影機全身姿態估計以及高傳真虛擬化身的創建。
• 無標記點運動捕捉：他們開發了無需特殊服裝或標記點即可捕捉人體運動的先進技術。這項研究為「DeepCap」等專案以及其衍生公司「the Captury」的商業系統提供了動力。
• 生成式智慧：該部門探索使用生成模型來合成和操縱視覺數據，包括從語音生成對話手勢和生成場景的新穎視角。
• 4D視覺與場景理解：一個關鍵的焦點是感知和解釋運動中的3D世界（3D + 時間 = 4D），這是未來智慧系統（如自動駕駛汽車和機器人）的一項基本能力。

VCAI的使用案例

VCAI的基礎研究對各行各業都產生了深遠影響：

• 娛樂與視覺效果：為電影和電玩遊戲創建栩栩如生的數位演員、自動化視覺效果流程以及實現即時表演捕捉。
• 虛擬與擴增實境（VR/AR）：用逼真的場景和虛擬化身填充虛擬世界，實現沉浸式遠端呈現和培訓模擬。
• 機器人與自動駕駛：為機器人和車輛提供即時感知、理解和重建其3D環境的能力，以實現安全導航和互動。
• 體育科學與生物力學：使用無標記點運動捕捉技術高精度分析運動員的動作，以提高表現和預防傷害，中國奧運代表隊的使用就是明證。
• 數位通訊：為視訊會議和虛擬社交平台開發下一代照片級逼真的虛擬化身。

VCAI的優勢特點

• 開創性創新：持續產出屢獲殊榮、定義領域的顛覆性研究，不斷挑戰可能性的邊界。
• 產學研協同：與Google等產業巨頭有緊密的合作關係，並擁有將研究成功轉化為商業產品的良好記錄。
• 開放與可及的研究：許多開創性專案都附有公開發表的論文和原始碼，促進了社群的成長和創新。
• 世界級專業知識：擁有一支由頂尖科學家和研究人員組成的團隊，致力於解決視覺計算領域最具挑戰性的問題。

定價和計劃

VCAI是馬克思·普朗克學會（一個非營利組織）內部的一個研究部門。因此，它不提供商業計劃或定價。其研究論文通常可以透過學術檔案庫和研究所網站免費獲取。其許多專案的原始碼也根據開源授權發布，供研究和非商業用途使用。由其研究衍生的商業應用，例如其衍生公司「the Captury」提供的產品，則有其獨立的定價模式。