Multi-TW資料集

2025/12/01 · 技術 · 閱讀約 4 分鐘

Multi-TW資料集 這是第一個專門針對繁體中文的多模態Benchmark，能同時考驗 AI 看圖辨識、聽力理解和文字問答的能力，特別的是個 Benchmark 不只看模型答對多少，還會同時評量 Latency，對現實應用很有參考價值。

看到覺得超棒，寫了一下導讀分享給各位，另外我也同步作了一個 LLM Benchmark 的收藏牆，目前收錄 Multi-TW、MME、TMMLU+、VisTai 等，想請問大家覺得還有甚麼是應該收錄的 🙏

(易讀版連結貼留言)

  1. Multi-TW 是什麼? 用白話來說，Multi-TW 是一個測試 AI 的題庫，而且內容很在地，資料集裡收集了 900 題繁體中文的選擇題，每題都不只是文字，有的附上一張圖片，有的配一段音檔，像是日常對話或廣播內容等，然後問 AI 一個理解相關的問題。 這些題目並非人工隨意編寫，而是源自台灣官方的華語文能力測驗 (即 Test of Proficiency-Huayu, 簡稱 SC-TOP) 的真實考題，這些題目本來是考人對中文聽讀能力的，現在拿來考驗 AI，非常具有真實性和挑戰性。

  2. 測試了哪些模型? 為了瞭解現有 AI 模型在 Multi-TW 基準上的表現，研究團隊選擇了大致兩類模型：

A. 任意模態輸入的端到端模型 (Any-to-Any MLLM)：

  • 這類模型本身就能直接吃下圖像、聲音、文字等多種輸入，然後產生答案。
  • 模型選用 Gemini、Qwen 2.5-Omni 與 Baichuan-Omni-1.5 等

B. 視覺語言模型＋語音辨識 (VLM + ASR)：

  • 第二類是傳統做法，模型本身只擅長圖像＋文字雙模態 (沒有內建聽音能力)，所以遇到音檔時先用 Whisper 語音辨識把聲音轉成文字，再交給模型理解。
  • 測試的 VLM 包括 Qwen-VL、Llama 3.2-Vision、UI-TARS、Idefics2、LLaVA、PaliGemma2 等。

整套實驗設計就是為了確保，各種主流路線的模型都能在相同的繁體中文多模態題目上進行比較，也透過這兩種路線的對比，我們可以看出模型架構差異的影響。

  1. 怎麼測? 研究人員採用了零樣本設定，也就是不給模型任何額外的訓練或提示範例，直接餵每一題讓模型作答，因為是選擇題，他們在提示中告訴模型「只需輸出答案選項的字母（A/B/C/D）」，避免模型產生長篇大論，如果模型沒給出明確的A/B/C/D，就隨機猜一個答案，保證每題都有答案。 每個模型都用相同的硬體環境(NVIDIA A100 80GB) 單卡跑完全套900題，並測量處理每題的耗時；不過閉源模型是透過 API 調用，時間包含網路延遲，和地端模型不太具有可比性，所以速度分析主要還是著重在開源模型上。

  2. 關鍵發現與意涵 綜合這項研究，有幾點重要發現值得關注： A. Gemini 穩居第一： Google 的 Gemini 果然不負盛名，整體正確率約 89%，其中圖像題答對 88%、聽力題 90%，不過可惜 Gemini 是商用閉源模型，普通開發者無法直接使用 或 fine-tune。

B.開源 Qwen 在聽力題表現很好： Qwen-2.5-Omni-7B 展現了意外強大的聽力理解能力，在聽力題上它答對率高達 89.11%，幾乎追上了閉園的 Gemini，這或許暗示某些開源模型其實在語音理解方面已經相當成熟。

C. 繁體中文的圖像理解目前很難： 開源模型在繁體中文圖像訊息的理解方面明顯較弱，尤其在涉及讀取或理解繁體文字的圖片題上正確率遠低於閉源模型，這顯示目前的開源多模態模型在繁體中文環境下仍存在明顯短板，需要透過加入繁體中文資料進行微調訓練，以及強化模型的視覺模組來改善。

D. 端到端模型推論更快： 在處理語音相關任務時，直接接受語音輸入的模型相較透過語音轉文字再進行理解的模型，有著明顯的速度優勢，在本次測試中，端到端多模態模型完成整套題目的耗時約為後者的一半，因此在講求時效性的應用中，這種架構上的優勢意味著更快的響應和更好的使用者體驗。

  1. 結論 Multi-TW 為台灣帶來第一份完整的繁體中文多模態 AI 測試基準，對產學界來說，都是一套能幫助了解模型強弱、加速開發應用的好工具 。 接下來作者們還計劃： A. 研究簡中模型能否有效轉用在繁中上； B. 測更多模型延遲表現與串流推論場景； C. 擴充資料集任務類型，如開放問答與生成式任務 。

滿期待他們未來的發展!