Mind-Video

Mind-Video 是由新加坡國立大學和香港中文大學的研究人員開發的開創性研究框架。它站在神經科學和人工智慧的前沿，展示了從非侵入性功能性磁振造影（fMRI）數據中重建高品質、連續影片的能力。該專案透過解決從大腦訊號中解碼動態視覺體驗的複雜挑戰，擴展了先前在靜態影像重建（MinD-Vis）方面的工作。

Mind-Video 的核心是一個創新的雙模組管道。第一個模組是一個 fMRI 編碼器，它從大腦活動中逐步學習時空資訊。它使用遮罩大腦建模、多模態對比學習和時空注意力等先進技術，來捕捉視覺感知的「內容」和「方式」。第二個模組是一個增強版的 Stable Diffusion 模型，專門為影片生成而調整，它與 fMRI 編碼器協同訓練，將學習到的大腦特徵轉化為生動的影片片段。這種解耦的架構允許靈活高效的訓練，從而實現了最先進的結果。

如何使用 Mind-Video

Mind-Video 不是一個商業化的、即用型應用程式，而是一個公開程式碼的研究框架。它主要面向計算神經科學、人工智慧和腦機介面等領域的研究人員、開發人員和學生。要使用它，通常需要遵循以下步驟：

1. 存取專案資源：訪問 Mind-Video 官方專案網站，並找到「查看程式碼」部分，這通常會連結到一個 GitHub 儲存庫。
2. 設定環境：克隆儲存庫並設定所需的計算環境。這包括安裝特定的 Python 函式庫、深度學習框架（如 PyTorch）以及文件中提到的其他相依套件。
3. 準備資料集：獲取 fMRI 資料集。該專案本身使用了像人類連接組計畫（HCP）和特定的 fMRI-影片資料集這樣的公共資料集。使用者需要預處理自己的或公共的 fMRI 資料，以匹配模型所需的輸入格式。
4. 訓練模型：遵循提供的腳本和說明來訓練雙模組管道。這是一個計算密集型過程，需要強大的 GPU。訓練是分階段進行的：首先訓練 fMRI 編碼器，然後是擴散模型，最後將它們一起進行微調。
5. 執行推論：模型訓練完成後，使用推論腳本輸入新的 fMRI 資料，並生成相應的影片重建結果。

Mind-Video 的核心功能

• fMRI 到影片重建：主要功能是解碼捕捉大腦中血流變化的 fMRI 訊號，並將其轉化為動態影片內容。
• 雙模組解耦管道：具有靈活的架構，包括一個 fMRI 編碼器和一個增強版的 Stable Diffusion 模型，可以分開訓練，然後一起微調以獲得最佳性能。
• 漸進式時空學習：採用多階段學習方案，包括遮罩大腦建模和多模態對比學習，以逐步建立對大腦訊號隨時間變化的豐富理解。
• 高語義準確性：在重建與原始視覺刺激在語義上一致的影片方面表現出色，能高保真地捕捉運動、場景動態和物體類別。
• 生物學上合理且可解釋：模型的注意力機制對應到已知的大腦網絡，如視覺皮層和更高級的認知網絡，為視覺感知的神經基礎提供了寶貴的見解。
• 開源研究：程式碼和方法論是公開的，鼓勵在腦解碼領域的進一步研究、驗證和創新。

Mind-Video 的使用案例

Mind-Video 的應用主要集中在研究和未來技術領域：

• 神經科學與認知科學：為研究大腦如何處理、表徵和理解動態視覺資訊提供了強大的工具。它可以幫助驗證視覺感知和意識的理論。
• 先進的腦機介面（BCI）：為未來的 BCI 鋪平了道路，這些 BCI 可以讓患有嚴重癱瘓或溝通障礙的個體表達複雜的思想或視覺記憶。
• 醫學診斷：從長遠來看，類似的技術可能被用於理解患有神經或精神疾病患者的主觀視覺體驗，例如精神分裂症中的幻覺或中風後的視覺障礙。
• 夢境與想像研究：為視覺化主觀心理內容（如夢境或想像的場景）提供了一條潛在途徑，這是心理學和神經科學長期以來的一個目標。

Mind-Video 的優勢特點

• 最先進的性能：在從 fMRI 重建影片方面顯著優於以前的方法，語義指標準確率達到 85%，比先前的最先進技術提高了 45%。
• 開創性創新：成功地彌合了從大腦活動重建靜態影像和動態影片之間的差距，這是一個重大的技術和科學挑戰。
• 科學洞察力：該模型不僅僅是一個「黑盒子」；其可解釋性為神經科學家提供了寶貴的數據，證實了大腦中視覺資訊的分層處理。
• 開放與協作：透過公開程式碼，該專案營造了一個協作的研究環境，讓其他人能夠在這項開創性工作的基礎上進行建構和擴展。

定價和計劃

Mind-Video 是一個學術研究專案，不作為商業產品提供。其原始碼、研究論文和補充材料可免費​​用於學術和研究目的。使用該框架沒有任何相關的定價計劃、訂閱或費用。研究人員可以透過該專案的官方網站和相關的程式碼儲存庫存取必要的資源。