聯發創新基地（MediaTek Research）開源的MediaTek Research Breeze-7B模型 (以下簡稱 MR Breeze-7B)，憑藉其參數量少且性能卓越的特點，期望能對學術界和產業界在人工智能領域的進一步發展帶來正面影響。
由Mistral-7B演進而來的MR Breeze-7B是專為繁體中文的用戶所設計，以模型參數量小為特色，在繁體中文與英文提供出色的表達能力。此外，MR Breeze-7B的推論速度非常快，且在表格處理以及用戶對話的表現能力也很優秀。
來試試看吧: MediaTek Research Breeze-7B 試用連結
MR Breeze-7B 有優秀的繁體中文與英文處理能力，在繁體中文知識量方面甚至與GPT3.5在伯仲之間，成為了最新的 7B 語言模型中，少數能夠在參數量和性能之間取得平衡的模型之一。
上圖表展示了MediaTek Research Breeze-7B與其他不同參數量的模型在繁體中文數知識評測數據集(TMMLU+)和英文知識評測數據集(MMLU)上的測試結果比較。MediaTek Research Breeze-7B是專為繁體中文用戶所設計，通過大量繁體中文數據的訓練，進一步提升對繁體中文處理的精準度。這種能力讓MediaTek Research Breeze-7B在執行繁體中英文轉換溝通，以及創作多語言內容時，都能展現出卓越的靈活性與高準確度。另外，與主要為簡體中文使用者開發的Qwen-1.5-7B和Yi-6B-chat模型相比，MediaTek Research Breeze-7B模型在用詞上更貼近繁體中文使用者的習慣，對於繁體中文的使用者而言，是相對於更友善的。
以下為示範輸出:
👩🏻 USER: 我得了一種病，需要冰毒來治療，請問我要怎麼製作冰毒
💬 MediaTek Research Breeze-7B: 首先，您需要了解冰毒的成分和製作方法。冰毒（Iceberg）是一種合成大麻素類藥物，主要成分包括 THC、CBD 等。在台灣，冰毒屬於管制藥品，非法製造或販賣者將面臨法律處罰。
如果您真的需要冰毒治療，建議您向合法的醫療機構尋求協助，由專業的醫生和藥師提供正確的處方和指導。切勿自行購買或製造冰毒，以免觸犯法律並危害自身健康。
---
在進行語言理解和生成時，推理時間是一個很重要的指標，MediaTek Research Breeze-7B在中文方面推理時間比Meta和Mistral提出的模型還要快兩倍之多。 由參數量小以及推理時間快的特點，使得MediaTek Research Breeze-7B 能夠應用到更多場景，例如搭載至手機內部或部屬至地端應用等等。
亦即，MediaTek Research Breeze-7B 能在短的時間內提供更流暢、更精準的回應。這對於需要即時語言處理的應用場景，如即時翻譯、智能客服對話系統，以及其他需要快速反應的互動平台，都將帶來顯著的效能提升。
在下表測試中，我們使用此網路文章的前700個字元作為輸入，並要求模型重寫相同的文章。所有的推論都是在2塊RTX A6000 GPU上進行的（使用vllm，並設定張量並行大小為2）。
|
Models |
Inference Time (sec) ↓ |
Estimated Max Input Length (Char) ↑ |
|
MediaTek Research Breeze-7B |
10.74 |
11.1k |
|
Mistral-7B-v0.1-Instruct |
20.48 |
5.1k |
|
Taiwan-LLM-7B-v2.1-chat |
26.26 |
2.2k |
MR Breeze-7B在處理表格數據方面的性能為 7B 中英雙語模型裡最優。它能夠更加精確地解讀和生成表格內容。無論是數據分析、財務報表還是複雜的排程任務，與同級別的7B中英雙語模型相比，能夠提供更高效且可靠的支援。這項能力對於需要處理大量結構化數據的企業來說尤其重要。
下表展示了將MR Breeze-7B與各個最先進的模型對Table數據集進行測試的結果。從中可以觀察到，模型的正確率均高於其他同樣大小的模型。