【智慧城市网 品牌专栏】近日，在上海人工智能实验室发布的多模态大模型榜单 MMBench中，来自佳都科技中央研究院的TransCore-M超过LLaVA、mPLUG-Owl2、Qwen-VL-Chat 等 20 余个来自世界一流大学和业界大厂的多模态大模型，分别在 4 个榜单中都高居第二。目前，TransCore-M 的模型和推理 demo 已在 huggingface 开源，并开放体验。
△MMBench榜单(其一)，MMBench是上海AI lab和南洋理工大学联合推出的基于ChatGPT的全方位多模能力评测体系，其它榜单详情请见文末。
模型架构与训练
TransCore-M 采用预训练和指令微调两种训练策略，来提升模型的多模态能力：
l预训练阶段：冻结视觉模块(Visual Encoder)和语言模型(PCITransGPT)，使用大量图文数据将图像和文本知识进行对齐；
l指令微调阶段：构造多样性的文本和多模态联合数据，保持视觉模块冻结，将视觉对齐模块和语言模型进行全参微调，使得模型能够具备更丰富的多模态理解能力。
交通行业能力
技术上，佳都科技布局视觉模型多年，自 2015 年开始加强在人脸识别、视频大数据领域的技术投入，2017 年成立中央研究院，开展数据和智能中台建设，2019年推出城轨智慧运营系统华佳 Mos，2020 年开始研发基于数字孪生技术的 AR(增强现实)引擎，将多维信息和 3D 虚拟界面融合。
应用场景方面，佳都长期深耕智慧大交通主赛道，积累了深厚的智慧交通行业项目经验和数据优势。一类是直接与视觉感知有关，主要是前端的采集智能设备，另一类是交通场景，包括车站客流分析、行车图优化、应急调度指挥、智能运维、智能安检，信号灯调优、交通拥堵分析、综合枢纽与公交客流分析导向等。
通过将以往的经验和数据沉淀为行业资产，多模态大模型深度融合了丰富的领域知识，结合高质量的专业语料库，确保模型具有卓越的理解和判断能力。
点击huggingface 主页中的 demo 链接后，用户仅需上传图片，即可与TransCore-M 进行对话。
示例1：交通视觉描述
示例2：交通违规检测
示例3：路况检测
示例4：异常事件检测
示例5：异常事件检测
榜单排名情况
版权与免责声明：
凡本网注明“来源：智慧城市网”的所有作品，均为浙江兴旺宝明通网络有限公司-智慧城市网合法拥有版权或有权使用的作品，未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：智慧城市网”。违反上述声明者，本网将追究其相关法律责任。
本网转载并注明自其它来源（非智慧城市网）的作品，目的在于传递更多信息，并不代表本网赞同其观点或和对其真实性负责，不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时，必须保留本网注明的作品第一来源，并自负版权等法律责任。
如涉及作品内容、版权等问题，请在作品发表之日起一周内与本网联系，否则视为放弃相关权利。
移动版
智慧城市网APP
智慧城市网小程序
微信公众号
