
MediaTek
生成式 AI
驱动生成式 AI 技术革新
生成式 AI 正在推动半导体领域的下一个创新浪潮。

先进端侧 AI 解决方案
作为开发高效能、高能效片上系统产品的供应商,MediaTek 将强大的集成 AI 处理器带入多样化的产品生态系统中。
现在,MediaTek 每年芯片出货量超过 20 亿颗,其中许多都包含了 AI 处理器,这使我们成为世界前列的 AI 供应商之一。凭借广泛的市场覆盖范围,您将在家用设备、教育、企业、移动设备和车辆中使用到我们的人工智能技术。
MediaTek 混合 AI——端侧和云侧
MediaTek 在推动和支持生成式 AI 应用和技术的采用方面具有独特优势,无论是在云侧部署、设备的端侧处理,还是结合云侧与端侧优势的混合方案,均能提供卓越支持。

完整的 MediaTek AI 生态系统。
MediaTek AI 生态系统涵盖硬件、开发工具以及软件开发工具包(SDK)。
软件开发者可综合使用多种工具和算法,与此同时,MediaTek NeuroPilot 支持“一次编写,随处应用”,简化基于 MediaTek 全系列产品的应用程序开发过程。

MediaTek AI 处理器
MediaTek NPU 专门用于处理AI任务,与系统级芯片中的 CPU 和 GPU 同等重要。MediaTek NPU 集成高效架构,可在智能手机、平板电脑、AIoT 设备、智能电视、网络连接系统级芯片等端侧设备中实现 AI 加速。
以 5 种常见的神经网络作为基准测试,根据能效曲线,MediaTek 深度学习加速器(DLA)的能效相较于典型 CPU 高 27 倍,相较于典型 GPU 高 15 倍。
.png)
MediaTek NPU 技术
联发科 NPU 是一个高度可扩展的多核处理器,根据应用需求,可能包含不同数量的 MDLA 和 MVPU 核心。
2023年,MediaTek 推出第 7 代 NPU,专为基于 Transformer 模型的生成式 AI 加速而设计。第 7 代 NPU 采用高度灵活的设计,可根据应用需求调整计算单元、功耗、内存带宽和内存容量,无论是在智能手机 SoC 中还是作为数据中心级芯片的一部分,均能提供卓越性能。
- 基于硬件的多核调度器。
- 专用 DMA 引擎,可执行深度层融合和数据压缩,降低对 DRAM 带宽的需求。
- 能效智能优化和共享内存感知。
- MediaTek 设计的片上网络(NoC),可实现低延迟的核间通信。

- 具备高性能、可编程、多功能特性,并采用高能效的 MAC 架构,可在广泛的神经网络应用中实现数据重用。
- MDLA 专为处理不同类型的网络而设计,包括:
- (a) 卷积神经网络
- (a) 卷积神经网络
- (c) 长短期记忆模型
- (d) 基于 Transformer 的移动双向编码器表示(BERT)
支持 INT4/INT8/INT16、FP16、BF16
- 和混合精度计算,以进一步降低功耗。
- 与 ISP 和 DPU 之间的子系统通信可大幅减少延迟和功耗。

- 针对计算机视觉(CV)和神经网络(NN)应用优化的通用 DSP。
- 在摄影、摄像和视频流播放等视觉处理应用中,实现卓越能效。

MediaTek NeuroPilot 软件开发包
MediaTek NeuroPilot 是一套软件工具和一系列应用编程接口,助力终端厂商和应用开发者优化 AI 应用,以更好地适配 MediaTek 移动平台。MediaTek NeuroPilot 包含本地和云端版本,并提供预训练的深度学习模型,可进一步加快开发进程。NeuroPilot 支持众多主流 AI 框架,包括 TensorFlow、Caffe、ONNX 和各种 Transformer,并兼容 Linux 和 Android 操作系统。在后硅验证阶段,开发者可在 MediaTek 平台上部署已训练的 AI 模型,并直接测试性能。
以高效为核心设计
NeuroPilot 还提供平台感知优化。通过 NeuroPilot,应用程序可识别正在运行的 CPU、GPU、APU 或 DSP 等系统级芯片硬件,并选择更合适的处理单元处理 AI 任务。此外,NeuroPilot 还会在必要时采用异构计算,结合多个处理器的优势,以实现卓越表现,例如,在 3D 图片渲染的 AI-VRS、AI-HDR 或超分辨率场景中,同时使用 GPU 和 APU 来提供卓越性能。
联发科技创新基地
联发科技创新基地致力于推动 AI 生态系统在日常设备中的发展和提升。
作为专业的 AI 研究团队,联发科技创新基地聚集了计算机科学、工程学、数学和物理等多个领域的杰出研究人员。我们的愿景是不断突破人工智能(AI)和机器学习(ML)的技术边界,探索新机遇、寻找新发现、取得新进展,塑造美好未来。
2023年3月8日
扩展 BLOOM 预训练,优化对繁体中文的支持:模型、方法和结果
本论文介绍了多语言模型 BLOOM-zh,增强了对繁体中文的支持。BLOOM-zh 源自 BigScience 于 2022年发布的开源 BLOOM 模型。
2023年2月2日
深度神经网络的 Fisher-Legendre(FishLeg)优化
我们介绍了通过 Legendre-Fenchel 二元性计算神经网络梯度的新方法,提供了收敛性证明,并在一系列基准上展示了该方法的杰出表现。
Dec 19, 2022
A Learning-Based Algorithm for Early Floorplan With Flexible Blocks
This paper presents a learning-based algorithm using graph neural network (GNN) and deconvolution network to predict the placement of the locations and the aspect ratios for the design blocks with flexible rectangles.
Oct 31, 2022
Near-Optimal Collaborative Learning in Bandits
A near-optimal algorithm is proposed for pure exploration in a new framework for collaborative bandit learning that encompasses recent prior works.
Nov 24, 2022
Gradient Descent: Robustness to Adversarial Corruption
We provide performance guarantees for gradient descent under a general adversarial framework
Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning
Kernel-based models such as kernel ridge regression and Gaussian processes are ubiquitous in machine learning applications for regression and optimization.
Feb 20, 2022
Regret Bounds for Noise-Free Kernel-Based Bandits
Kernel-based bandit is an extensively studied black-box optimization problem, in which the objective function is assumed to live in a known reproducing kernel Hilbert space.
LPI: Learned Positional Invariances for Transfer of Task Structure and Zero-shot Planning
Real-world tasks often include interactions with the environment where our actions can drastically change the available or desirable long-term outcomes.
Jun 1, 2022
Adaptive erasure of spurious sequences in sensory cortical circuits
Sequential activity reflecting previously experienced temporal sequences is considered a hallmark of learning across cortical areas.
Apr 13, 2022
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
Recently, successful applications of reinforcement learning to chip placement have emerged. Pretrained models are necessary to improve efficiency and effectiveness.