MediaTek
生成AI
生成AI技術革命の先導
生成AIは、半導体分野における次の革新の波を牽引しています。
最先端のAIソリューション
高性能かつ省電力のシステムオンチップ製品の開発において業界をリードするMediaTekは、強力な自社設計のAIプロセッサの利点を多様な製品エコシステムに提供しています。
現在、私たちは毎年20億以上のチップを接続デバイスに出荷しており、その多くにAIプロセッサが含まれています。これにより、私たちは世界の最先端AIサプライヤーの一つとなっています。広範な市場展開により、家庭、教育、ビジネス、モバイル、そして車両において、私たちのAI技術を見つけることができます。
MediaTek ハイブリッドAI - エッジとクラウド
MediaTekは、生成AIアプリケーションと技術の導入を推進しサポートするために独自のポジションを確立しています。これには、クラウド上での展開、デバイスのエッジでの展開、またはクラウドとエッジの両方を活用したハイブリッドアプローチが含まれます。
包括的なMediaTek AIエコシステム
MediaTek AIエコシステムには、ハードウェア、開発ツール、およびソフトウェア開発キット(SDK)が含まれています。
ソフトウェア開発者は、包括的なツールとアルゴリズムにアクセスでき、MediaTek NeuroPilotは「一度書いてどこでも展開」できる戦略を提供し、MediaTekの全製品ラインにわたってアプリ開発を簡素化します。
MediaTek AIプロセッシングユニット
MediaTek NPU(AIタスク専用プロセッサ)は、システムオンチップ内でCPUやGPUと同様に重要です。
MediaTek NPUは、スマートフォン、タブレット、AI+IoTデバイス、スマートTV、ネットワーキングSoCなどのエッジデバイスでAI加速を実装するための非常に効率的なアーキテクチャを提供します。
5つの一般的なニューラルネットワークをベンチマークとして使用した場合、平均的な電力/性能カーブは、MediaTekのディープラーニングアクセラレーター(DLA)が、一般的なCPUと比較して27倍の電力効率を提供し、一般的なGPUと比較して15倍の電力効率を提供することを示しています。
MediaTek NPU技術
MediaTek NPUは、高度にスケーラブルなマルチコアプロセッサで、アプリケーションの要件に応じて、異なる数量のMDLAおよびMVPUコアを含むことができます。
2023年に、MediaTekは7世代目のNPUを発表しました。このNPUは、トランスフォーマーモデルに基づく生成AIの加速に特化して設計されています。その非常に柔軟な設計は、アプリケーションの要件に応じて、計算ユニット、電力使用、メモリ帯域幅、メモリ容量でパフォーマンスをスケールさせることができます。スマートフォンSoCであれ、データセンターグレードのスーパーチップであれ対応します。
- ハードウェアベースのマルチコアスケジューラ
- 深層層の融合とデータ圧縮を行う専用DMAエンジンにより、DRAM帯域幅の要求を削減
- 電力インテリジェンスと共有メモリ認識
- 低レイテンシのインターコア通信のためにMediaTekが設計したネットワークオンチップ(NoC)
- 高性能でプログラム可能、汎用性が高いMDLAは、広範なニューラルネットワークアプリケーションでデータ再利用を実現するエネルギー効率の良いMACアーキテクチャを備えています。
- 異なるタイプのネットワークに対応するように設計されています。これには以下が含まれます:
- (a) 畳み込みニューラルネットワーク (CNN)
- (b) リカレントニューラルネットワーク (RNN)
- (c) 長短期記憶 (LSTM) モデル
- (d) モバイル双方向エンコーダー表現 (BERT) トランスフォーマー
- INT4/INT8/INT16、FP16、BF16、ミックス精度をサポートし、さらに電力消費を削減します。
- ISPおよびDPU(ディスプレイ)とのインターサブシステム方向通信により、レイテンシと電力消費が最小化されます。
- コンピュータビジョン(CV)およびニューラルネットワーク(NN)アプリケーションに最適化された汎用DSP。
- 写真撮影、ビデオ撮影、ビデオストリーム再生などの視覚処理アプリケーションにおいて、電力とパフォーマンスの最適なバランスを提供します。
MediaTek NeuroPilot SDK
MediaTek NeuroPilotは、顧客や開発者がMediaTek SoCで使用するAIベースのアプリケーションを最適化するためのソフトウェアツールとAPIのセットです。
これらのツールには、ローカルとクラウドの両方のバージョンが提供されており、開発をさらに加速するための事前トレーニング済みのディープラーニングモデルも含まれています。NeuroPilotは、TensorFlow、Caffe、ONNX、トランスフォーマーなどの多くの主流AIフレームワークをサポートし、LinuxおよびAndroid OSの両方で動作します。シリコン後の段階では、開発者はトレーニング済みのAIモデルをプラットフォームに展開し、パフォーマンスを直接測定することができます。
効率性の本質
NeuroPilotは、プラットフォームに対応した最適化も提供します。NeuroPilotを使用することで、アプリケーションは操作するSoCハードウェアを理解し、AIタスクを最も適切なプロセッシングユニットに送信します。これにはCPU、GPU、APU、またはDSPが含まれます。
さらに、必要に応じてNeuroPilotは、複数のプロセッシングユニットの強みを組み合わせるために異種コンピューティングを採用し、最良の結果を提供します。たとえば、GPUとAPUを組み合わせて3Dグラフィックスレンダリング、AI-VRS、AI-HDR、またはスーパーレゾリューションアップスケーリングなどの処理を行います。
MediaTek リサーチ
MediaTek リサーチ は、日常のデバイスにおける AI エコシステムの成長と向上に取り組んでいます。 最先端の ML テクノロジーを調査し、MediaTek のハードウェアおよびソフトウェア ソリューションがそれぞれのブランド製品で業界をリードし続けることを保証するイノベーションを生み出します。 国際的な研究チームは、非常に有名な世界的な出版物に定期的に研究論文を発表しています。
Mar 8, 2023
Extending the Pre-Training of BLOOM for Improved Support of Traditional Chinese: Models, Methods and Results
In this paper we present the multilingual language model BLOOM-zh that features enhanced support for Traditional Chinese. BLOOM-zh has its origins in the open-source BLOOM models presented by BigScience in 2022.
Feb 02, 2023
Fisher-Legendre (FishLeg) optimization of deep neural networks
We introduce a new approach to estimate the natural gradient via Legendre-Fenchel duality, provide a convergence proof, and show competitive performance on a number of benchmarks.
Dec 19, 2022
A Learning-Based Algorithm for Early Floorplan With Flexible Blocks
This paper presents a learning-based algorithm using graph neural network (GNN) and deconvolution network to predict the placement of the locations and the aspect ratios for the design blocks with flexible rectangles.
Oct 31, 2022
Near-Optimal Collaborative Learning in Bandits
A near-optimal algorithm is proposed for pure exploration in a new framework for collaborative bandit learning that encompasses recent prior works.
Nov 24, 2022
Gradient Descent: Robustness to Adversarial Corruption
We provide performance guarantees for gradient descent under a general adversarial framework
Improved Convergence Rates for Sparse Approximation Methods in Kernel-Based Learning
Kernel-based models such as kernel ridge regression and Gaussian processes are ubiquitous in machine learning applications for regression and optimization.
Feb 20, 2022
Regret Bounds for Noise-Free Kernel-Based Bandits
Kernel-based bandit is an extensively studied black-box optimization problem, in which the objective function is assumed to live in a known reproducing kernel Hilbert space.
LPI: Learned Positional Invariances for Transfer of Task Structure and Zero-shot Planning
Real-world tasks often include interactions with the environment where our actions can drastically change the available or desirable long-term outcomes.
Jun 1, 2022
Adaptive erasure of spurious sequences in sensory cortical circuits
Sequential activity reflecting previously experienced temporal sequences is considered a hallmark of learning across cortical areas.
Apr 13, 2022
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
Recently, successful applications of reinforcement learning to chip placement have emerged. Pretrained models are necessary to improve efficiency and effectiveness.