对于多模态根基模子
，咱们愿望其不光可能处置特定的多模态相关使命 ，还愿望其处置单模态使命时也具备优异的功能
。阿⾥达摩院团队发现现有的模子每一每一不能很好的失调模态相助以及模态瓜葛的下场，这限度了模子在种种单模态以及跨模态卑劣使命的功能 。

基于此，达摩院的钻研者提出了 mPLUG-2，其经由模块化的⽹络妄想妄想来失调多模态之间的相助以及瓜葛下场，mPLUG-2 在 30 + 多 / 单模态使命，取患上划一数据量以及模子规模 SOTA 概况 Comparable 下场，在 VideoQA 以及 VideoCaption 上逾越 Flamingo
、VideoCoca 、GITv2 等超⼤模子取患上相对于SOTA。此外，mPLUG-Owl 是阿⾥巴巴达摩院 mPLUG 系列的最新使命
，不断了 mPLUG 系列的模块化磨炼脑子 ，把 LLM 降级为⼀个多模态⼤模子。mPLUG-2 的研品评辩说文已经被 ICML 2023 接管 。

• 论⽂地址：https://arxiv.org/pdf/2302.00402.pdf

• mPLUG-2 地址：https://github.com/X-PLUG/mPLUG-2

• mPLUG-Owl 地址 ：https://github.com/X-PLUG/mPLUG-Owl

钻研布景

⼤规模预磨炼根基模子是⼈⼯智能规模的新兴范式，波及语⾔、视觉以及多模态等多个规模。随着 Transformer 系统妄想的⼴泛乐成，近些年来已经泛起了语⾔、视觉以及多模态预磨炼的⼤融会趋向 。

该趋向下的⼀条主要路线是采⽤统⼀的序列⽣成框架来统⼀使命以及模态 ，如 T五、OFA 以及 Flamingo 等 。另⼀条主要路线则是将所有使命都视为实例分说 (instance discrimination) ，并接管纯编码器架构
，如 BERT、Florence 以及 BEIT-3 模子。

以上主流根基模子提出为多模态数据建模同享的单⼀收集 (single network) ，以此来运用模态相助的信息 ，如 Flamingo。可是，由于差距模态波及到的使命的巨⼤差距，这种策略将⾯临模态瓜葛的下场，多个模态可能会相互关扰 ，特意是当存在多种模态以及使命时
。单模块根基模子难以失调模态相助的收益以及模态瓜葛对于多个跨模态卑劣使命的影响。

为了缓解这个挑战
，在这项⼯作中，阿⾥达摩院团队引⼊了⼀种新的多模态根基模子的统⼀范式，如下图 1 所示
 。它采⽤基于模块的⽹络妄想来思考到模态相助以及模态瓜葛之间的失调。mPLUG-2 的钻研者妄想了特定的同享功能模块 (functional modules)，以⿎励模态相助 ，同时保存特定于模态的模块 (modality-specific modules) 以处置模态瓜葛的下场 。

基于模块化的妄想，差距的模块可能锐敏地选取以及组合，以顺应⼤量的单模态以及多模态的清晰以及⽣成使命。反对于的卑劣使命的详细信息在表 1 中给出，可能看到 mPLUG-2 可能处置多种跨⽂本 、图像以及视频的差距规范的卑劣使命。下表 2 中也提供了差距的卑劣使命所需要的模块组合。

措施概览

模子框图如上图 2 所示
 ：(1) mPLUG-2 妄想了⼀个统⼀的双 (dual) 视觉编码器模块，其中视频与图像输⼊同享的尺度 Transformer 模块
，⽤于建模空间信息。部份时域建模模块⽤于视频相关使命的时域关连建模 。(2) mPLUG-2 妄想了⼀个别致的通⽤层模块 ( universal layers module)
，⽤于作为差距模态之间的关键，其经由同享⾃留意⼒模块将视觉以及语⾔模态投影到配合的以语⾔为导向的语义空间中。(3) mPLUG-2 使⽤格外的交织留意⼒模块将通⽤视觉展现 (universal vision representation) 与原始细粒度视觉展现融会
。详细的模块妄想如图 2 所示。最后
，mPLUG-2 的差距模块经由使命以及模态指令 (task and modality instructions) 在单模态以及跨模态使命长进⾏散漫预磨炼 。在推理历程中 ，mPLUG-2 可能使⽤模块化 Transformer 架构为种种单模态以及交织模态使命抉择差距的模块。

mPLUG-2 的卓越功能

mPLUG-2 在 30 多个有挑战性的单模态以及跨模态清晰以及⽣成基准测试中评估了 mPLUG-2 的功能，它在相似的模子巨细以及数据规模下取患了开始进或者有相助力的服从
。

这里揭示多少个有代表性的试验服从 ：

多模态使命

钻研者在多模态清晰型以及天生型的相关使命上评测 mPLUG-2 的功能，搜罗: multimodal retrieval、question answering、visual grounding 以及 captioning 等，试验服从表明其可能患上到 SOTA 的功能。

纯语言使命

钻研者发现，比照于专⽤语⾔预磨炼模子以及其余多模态预磨炼模子，mPLUG-2 在 GLUE benchmark 上可能取患上可⽐的功能。试验服从证明了使⽤ universal layer 做模态相助的实用性 。

纯视觉使命

钻研者发现
 ，mPLUG-2 在纯视觉使命上，如行动识别，图像分类使命 ，可能取患上具备相助力的功能
。

消融：用于模态相助的通用层 (universal layer) 的熏染有多大
？

钻研者在 baseline 的根基上，削减他们妄想的通⽤层 universal layer
。可能发现，经由鼓舞模态相助 ，在单模态概况跨模态使命上，都市有清晰的功能提升
，证明了通⽤层 universal layer 的实用性。

此外，钻研者还发现，⿎励模态相助的通⽤层 universal layer 可能患上到更小的 modality gap。

更多技术以及试验细节请参阅原论⽂。

• ·家电好物 篇十三：有娃家庭用哪种取暖器比较好？是油汀还是小太阳？善恶终有报！54岁的尹相杰，已经活成了一个“笑话”
• ·泰国最著名的活佛，募捐60亿泰铢巨款，就连泰国国王都要下跪叩拜破案了！当年打压刀郎最狠的不是那英，更不是汪峰，而是这位艺术家
• ·原创 灰熊5连败成唯一不胜球队！ESPN造最大笑话：预测孟菲斯西部第一
• ·单节22分，狂轰41+7+5！马刺旧将打疯了，导演21分大逆转NBA最新实力榜：掘金稳坐第一 勇士再回前五
• ·AC米兰意甲赢了9场，看都赢了谁！
• ·尤文会让罗马不败，穆帅和小因都不出席发布会，卢卡库话题太敏感
• ·年迈人逛商场只去B1B2层，“蹭老式”破费引热议：性价比更高
• ·不愧“中超名宿”：卡拉斯科加盟沙特后7场造9球不输C罗！羽联总决赛杭州举办！女单竞争激烈，雅思组合未入围，石宇奇让位
• ·原创 钱不是问题！鲍尔默给哈登吃下定心丸，快船3巨头争相索要顶薪
• ·再见AC米兰，意甲豪门爆内讧，莱奥心灰意冷，8000万欧赴大巴黎
• ·原创 76人内部很不满莫雷工作 每次决定都很愚蠢 交易哈登失去老板信任
• ·NBA常规赛：森林狼110-89送掘金首败,华子24分,约基奇25+10
• ·原创 穆帅麻烦大了！一场1-1后2巨星一伤一停，后3轮要踢那不勒斯尤文
• ·原创 中超末轮：鲁豫之战送别王牌，成都VS梅州一票难求！大连人与南通命悬一线
• ·V不雅财报｜中信证券第三季度净利同比降4.9% 投资收益腰斩
• ·9000万！明码标价！欧冠冠军愿卖队内核心，下家开出千万年薪善恶终有报，上赶着巴结美国却被“退回”，这几位明星太难堪