中文 - 繁體

    生成式 AI 正在推動半導體領域的下一波創新。

    Leading Edge AI

    先進端側 AI 解決方案

    作為開發高性能且高能效系統單晶片產品的行業領導者,MediaTek 已經將其強大的自研 AI 處理器的優勢引入到多樣化的產品生態系統中。

    我們每年向連接設備出貨超過 20 億顆晶片,其中許多都內建 AI 處理器,使我們成為全球領先的 AI 供應商之一。憑藉我們廣泛的市場覆蓋,您可以在家中、教育、商業、移動設備和車輛中找到我們的 AI 技術。

    聯發科技混合 AI — 端側和雲端

    聯發科技在推動和支援生成式 AI 應用和技術的採用方面具有獨特優勢,無論是在雲端部署、設備的端側處理,還是結合雲端與端側優勢的混合方案,均能提供卓越支援。

    Hybrid AI

    完整的聯發科技 AI 生態系統

    聯發科技 AI 生態系統涵蓋硬體、開發工具以及軟體開發工具包(SDK)。

    軟體開發者可綜合使用多種工具和演算法,同時,MediaTek NeuroPilot 支援“一次編寫,隨處應用”,簡化基於聯發科技全系列產品的應用程式開發流程。

    Ai-Ecoystem

    聯發科技 AI 處理器

    MediaTek NPU 專門用於處理 AI 任務,與系統級晶片中的 CPU 和 GPU 同等重要。

    MediaTek NPU 整合高效架構,可在智慧型手機、平板電腦、IoT 設備、智慧電視、網路連接系統級晶片等端側設備中實現 AI 加速。

    以 5 種常見的神經網路作為基準測試,根據能源效率曲線,聯發科技深度學習加速器(DLA)的能源效率相較於典型 CPU 高 27 倍,相較於典型 GPU 高 15 倍。

    CPU-chips-new

    MediaTek NPU 技術

    MediaTek 的 NPU 是一款高度可擴展的多核心處理器,可以根據應用需求包含不同數量的 MDLA 和 MVPU 核心。

    2023年,聯發科技推出第 7 代 NPU,專為基於 Transformer 模型的生成式 AI 加速而設計。第 7 代 NPU 採用高度靈活的設計,可根據應用需求調整運算單元、功耗、記憶體頻寬和記憶體容量,無論是在智慧型手機 SoC 中還是作為資料中心級晶片的一部分,均能提供卓越效能。

    • 基於硬體的多核心調度器。
    • 專用 DMA 引擎,可執行深度層融合和資料壓縮,降低對 DRAM 頻寬的需求。
    • 能效智慧優化和共享記憶體感知。
    • 聯發科技設計的片上網路(NoC),可實現低延遲的核間通訊。
    APU_Tech
    • 具備高效能、可程式化、多功能特性,並採用高能源效率的 MAC 架構,可在廣泛的神經網路應用中實現資料重複使用。
    • MDLA 專為處理不同類型的網路而設計,包括:
      1.  卷積神經網絡
      2. 循環神經網絡
      3. 長短期記憶模型
      4. 基於 Transformer 的行動雙向編碼器表示(BERT)
    • 支援 INT4/INT8/INT16、FP16、BF16 和混合精度計算,以進一步降低功耗。
    • 與 ISP 和 DPU 之間的子系統通訊可大幅減少延遲和功耗。
    MDLA-Desktop-updated
    • 針對電腦視覺(CV)和神經網路(NN)應用最佳化的通用 DSP。
    • 在攝影、攝影和視訊串流等視覺處理應用中,實現卓越能效。
    MVPU-Desktop

    MediaTek NeuroPilot 軟體開發包

    MediaTek NeuroPilot 是一套軟體工具和一系列應用程式介面,可協助終端廠商和應用開發者優化 AI 應用,以更好地適應聯發科技行動平台。

    MediaTek NeuroPilot 包含本地和雲端版本,並提供預先訓練的深度學習模型,可進一步加快開發進程。 NeuroPilot 支援眾多主流 AI 框架,包括 TensorFlow、Caffe、ONNX 和各種 Transformer,並相容於 Linux 和 Android 作業系統。在後矽驗證階段,開發者可在聯發科技平​​台上部署已訓練的 AI 模型,並直接測試效能。

    以高效率為核心設計

    NeuroPilot 也提供平台感知最佳化。透過 NeuroPilot,應用程式可識別正在運行的 CPU、GPU、APU 或 DSP 等系統級晶片硬件,並選擇更合適的處理單元處理 AI 任務。

    此外,NeuroPilot 也會在必要時採用異質運算,結合多個處理器的優勢,以實現卓越表現,例如,在3D 圖片渲染的AI-VRS、AI-HDR 或超解析度場景中,同時使用 GPU 和 APU 來提供卓越效能。

    聯發科技創新基地

    聯發科技創新基地致力於推動 AI 生態系統在日常設備中的發展與提升。

    作為專業的 AI 研究團隊,聯發科技創新基地聚集了電腦科學、工程、數學和物理等多個領域的傑出研究人員。我們的願景是不斷突破人工智慧(AI)和機器學習(ML)的技術邊界,探索新機會、尋找新發現、取得新進展,塑造美好未來。

    Mar 8, 2023

    Extending the Pre-Training of BLOOM for Improved Support of Traditional Chinese: Models, Methods and Results

    In this paper we present the multilingual language model BLOOM-zh that features enhanced support for Traditional Chinese. BLOOM-zh has its origins in the open-source BLOOM models presented by BigScience in 2022.

    New

    Feb 02, 2023

    Fisher-Legendre (FishLeg) optimization of deep neural networks

    We introduce a new approach to estimate the natural gradient via Legendre-Fenchel duality, provide a convergence proof, and show competitive performance on a number of benchmarks.

    New

    Dec 19, 2022

    A Learning-Based Algorithm for Early Floorplan With Flexible Blocks

    This paper presents a learning-based algorithm using graph neural network (GNN) and deconvolution network to predict the placement of the locations and the aspect ratios for the design blocks with flexible rectangles.

    Oct 31, 2022

    Near-Optimal Collaborative Learning in Bandits

    A near-optimal algorithm is proposed for pure exploration in a new framework for collaborative bandit learning that encompasses recent prior works.

    Nov 24, 2022

    Gradient Descent: Robustness to Adversarial Corruption

    We provide performance guarantees for gradient descent under a general adversarial framework

    Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning

    Kernel-based models such as kernel ridge regression and Gaussian processes are ubiquitous in machine learning applications for regression and optimization.

    Feb 20, 2022

    Regret Bounds for Noise-Free Kernel-Based Bandits

    Kernel-based bandit is an extensively studied black-box optimization problem, in which the objective function is assumed to live in a known reproducing kernel Hilbert space.

    LPI: Learned Positional Invariances for Transfer of Task Structure and Zero-shot Planning

    Real-world tasks often include interactions with the environment where our actions can drastically change the available or desirable long-term outcomes.

    Jun 1, 2022

    Adaptive erasure of spurious sequences in sensory cortical circuits

    Sequential activity reflecting previously experienced temporal sequences is considered a hallmark of learning across cortical areas.

    Apr 13, 2022

    Flexible Multiple-Objective Reinforcement Learning for Chip Placement

    Recently, successful applications of reinforcement learning to chip placement have emerged. Pretrained models are necessary to improve efficiency and effectiveness.