Galactica

Galactica 是由 Meta 基礎人工智慧研究（FAIR）團隊開發的一款開創性大型語言模型（LLM），其使命是組織和加速科學進步。與通用型 LLM 不同，Galactica 經過精心訓練，其訓練資料是一個包含超過4800萬項內容的高品質科學語料庫，其中包括學術論文、教科書、參考資料、講義、化合物、蛋白質和其他科學知識來源。這種專業化的訓練使其能夠理解和處理科學領域複雜的語言、符號和結構。

Galactica 背後的核心願景是解決科學界的資訊過載問題。隨著研究數量的爆炸式增長，研究人員越來越難以跟上最新進展、找到相關資訊並區分重要發現。Galactica 旨在充當這個知識海洋的智能介面，幫助研究人員更有效地導航、總結和綜合資訊。

儘管最初的公開網路演示因防止潛在不準確資訊的傳播（這是當前所有 LLM 的一個已知局限）而被下線，但 Galactica 模型本身仍然是開源的，並對研究社群開放。這種對開放的承諾保證了透明度、可複製性，並促進了對模型能力和安全性的協作改進。

如何使用 Galactica

Galactica 主要面向具有程式設計經驗的研究人員和開發人員。雖然面向公眾的演示已不再可用，但可以透過其開源 Python 函式庫 `galai` 存取和使用該模型。研究人員可以安裝該函式庫並載入不同大小的模型，以適應其計算資源和需求。

以下是如何開始使用的基本範例：

1. 安裝： 使用 pip 安裝函式庫：pip install galai
2. 載入模型： 匯入函式庫並載入一個預訓練模型。有不同的大小可供選擇，如 'base'、'large' 或 'huge'。
   import galai as gal
model = gal.load_model("huge")
3. 生成文本： 使用模型生成科學文本，並附帶引文。模型能識別特殊標記，如 `[START_REF]` 和 `[END_REF]`，以處理參考文獻。
   output = model.generate("The Transformer architecture [START_REF]")
   預期輸出將類似於：The Transformer architecture [START_REF] Attention is All you Need, Vaswani[END_REF] has been widely used in natural language processing.

必須意識到模型的局限性，例如可能出現幻覺（生成看似合理但不正確的資訊）。所有輸出，特別是事實性聲明或建議，都應進行獨立驗證。

Galactica 的核心功能

• 科學引文生成： Galactica 在超過3.6億個上下文引文上進行訓練，能夠為給定陳述建議相關參考文獻，並幫助發現相關論文。
• 數學和化學公式理解： 該模型可以解析、解釋和生成複雜的數學符號（如 LaTeX）和化學式（如 SMILES）。例如，它可以將像黎曼ζ函數這樣的複雜公式翻譯成通俗易懂的英語。
• 科學問題回答： 用戶可以提出複雜的科學問題，Galactica 將嘗試根據其訓練資料提供答案。
• 科學程式碼生成： 它可以編寫 Python 等語言的科學程式碼，協助偵錯，甚至可以在不同程式語言之間翻譯程式碼片段（例如，從 Python 到 C++）。
• 文獻回顧和摘要： Galactica 可以幫助起草文獻回顧、撰寫摘要和總結複雜的科學文獻。
• 開源模型： 模型可供研究人員使用、研究和在其基礎上進行建構，從而營造一個開放和協作的研究環境。

Galactica 的使用案例

Galactica 是科學界各方利益相關者的強大工具：

• 研究人員： 可以用它來加速文獻回顧、構思新的研究思路、查找支持或衝突的論文以及起草手稿。
• 學生： 一個寶貴的學習輔助工具，用於理解複雜的科學概念、獲得數學證明的逐步解釋，或學習科學應用的程式設計。
• 科學作家和編輯： 可以協助起草文章，確保術語的正確使用，並找到適當的引文來支持論點。
• 教育工作者： 可以用它來生成教學材料、創建範例問題，並以更易於理解的方式解釋困難的主題。

Galactica 的優勢特點

Galactica 的主要優勢在於其在科學領域的深度專業化。這一重點帶來了幾個關鍵好處：

• 高品質、專業化的語料庫： 在精選的科學資料集 NatureBook 上進行訓練，使其對科學細微之處的理解優於通用模型。
• 內建引文功能： 其將生成文本與現實世界參考文獻連結起來的能力是學術誠信的關鍵特徵，也是超越許多其他 LLM 的重要一步。
• 多模態科學知識： 它無縫整合了文本、數學、程式碼和化學結構等多種知識，反映了現代科學的真實本質。
• 透明與開放： 透過開源，它接受全球研究社群的審視和合作，這對於建構可信賴的人工智慧至關重要。

定價和計劃

Galactica 是 Meta AI 的一個開源研究專案。因此，這些模型可免費供研究目的使用。沒有商業計畫或訂閱費。研究人員可以在自己的計算環境中下載和使用這些模型，但需遵守模型授權的條款。使用 Galactica 的相關成本將與執行模型所需的計算資源（例如 GPU）有關。