天玑9300 AI才能飙升:最高支撑330亿参数的AI大言语模型

2023-12-05 13:13:33 BBV体育平台

  联发科今晚正式对外发布天玑9300旗舰5G生成式AI移动芯片,支撑在端侧生成式AI、游戏、印象等方面界说旗舰新体会。

  据介绍,天玑9300集成MediaTek第七代AI处理器APU 790,为生成式AI而嘲笑,其功能和能效得到十分显着提高,整数运算和浮点运算的功能是前一代的2倍,功耗降低了45%。

  APU 790内置了硬件级的生成式AI引擎,可完成愈加高速且安全的边际AI核算,深度适配Transformer模型进行算子加快,处理速度是上一代的8倍,1秒内可生成图片。

  一起,根据亿级参数大言语模型特性,MediaTek开发了混合精度INT4量化技能,结合MediaTek特有的内存硬件紧缩技能NeuroPilot Compression,抄获更高效地使用内存带宽,大幅度削减AI大模型对终端内存的占用,支撑终端运转10亿、70亿、130亿、最高可达330亿参数的AI大言语模型。

  APU 790还支撑生成式 AI 模型端侧“技能扩大”技能NeuroPilot Fusion,抄获根据根底大模型继续在端侧进行低秩自适应(LoRA,Low-Rank Adaptation)交融,从而赋予根底大模型愈加全面的才能。

  此外,MediaTek的AI开发渠道NeuroPilot构建了丰厚的AI生态,支撑Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿干流AI大模型,完好的东西链助力开发者在端侧快速且高效地布置多模态生成式AI使用,为用户更好的供给文字、图画、音乐等终端侧生成式AI立异体会。

BBV体育平台


扫一扫访问移动端