项目地址:https://github.com/DUOMO/TransGPT
TransGPT・致远的训练基于约 34.6 万条交通领域文本数据(用于领域内预训练)和 5.8 万条交通领域对话数据(用于微调),可支持实时类 APP 接入(地图、公交等应用)。目前,TransGPT・致远已开源,相关资源不仅对学术研究完全开放,仅需邮件申请并获得官方商用许可后,即可以免费商用。
与通用型的多模态交通大模型产品不同,TransGPT 主要致力于在真实交通场景中发挥实际价值,包括交通情况预测、智能咨询助手、公共交通服务、交通规划设计、交通安全教育、协助管理、交通事故报告和分析、自动驾驶辅助系统等能力。
功能特色
「TransGPT 综合交通大模型」的主要功能和特色如下:
1. 交通安全教育:交通大模型可以用于生成交通安全教育材料,如安全驾驶的建议、交通规则的解释等。
2. 智能出行助手:在车辆中的智能助手可以使用大型交通大模型来理解和生成更自然、更复杂的对话,帮助驾驶者获取路线信息、交通更新、天气预报等。自动回答关于公共交通服务的问题,如车次、票价、路线等。这可以提高服务效率并提升乘客体验。
3. 智能交通管理:通过实时监测和分析车辆、道路、信号灯等信息,协助智能协调交通流量,减少交通拥堵。分析社交媒体或新闻报道中的文本信息,预测交通流量、交通堵塞或事故的可能性。同时,该模型能分析交通事故历史和特征,给出相应对策和方案,减少交通事故的发生。
4. 智能交通规划:交通大模型可以帮助分析公众对于交通规划提案的反馈和意见,提供决策者更全面的信息。
5. 交通事故报告和分析:交通大模型可以帮助快速理解和分类交通事故报告,提供事故原因的初步分析。
6. 交通政策研究:大型交通大模型可以用于分析公众对于交通政策的反馈,或者生成关于交通政策影响的报告。这可以帮助政策制定者更好地了解政策的实际效果。
TransGPT 交通大模型已经具备面向 BIM 模型审核员、智能运维、智能咨询等场景的应用落地能力,将大幅度促进铁路工程等数字化转型和智能化提升。韩文娟团队介绍,交通大模型采用了基于 Transformer 架构的文本大模型、多模态大模型与实时场景数据调用能力,整体上形成综合交通大模型为基础设施、辅以交通细分行业应用的架构。支持实时类应用,包括:驾车规划、公共交通规划、(逆)地理编码查询等落地场景应用能力,能够促进铁路交通等领域的数字化转型和智能化提升。
数据
TransGPT 背后团队北京交通大学长期深耕交通主赛道,形成了数据壁垒,因而对于构建综合交通大模型有很多先天优势,其数据内容覆盖以下交通行业:
数据来源包含以下方面:
模型
目前已开源内容包括:
模型 TransGPT
数据集 TransGPT-DATA-sft (可商用)
数据集 TransGPT-DATA-pt (可商用)
语言模型
研究者基于 chinese-alpaca-plus-7b-hf 模型框架训练了综合交通大模型的语言模型版本。实现了包括通用领域预训练、交通领域内预训练、有监督微调、奖励建模、强化学习训练。
交通领域的训练过程如下:
1. 从原始 pdf、docx,doc 格式文件中提取文本
2. 利用 LLM 根据文档生成对话数据(微调对话数据生成方法见 LLMforDialogDataGenerate)
3.pt 训练代码见 supervised_finetuning.py。
4.sft 训练代码见 supervised_finetuning.py。
多模态模型
在多模态复杂场景中,图片和文本的细粒度对应是一项挑战,特别是在存在多个图像且图像的顺序、绝对位置和相对位置至关重要的复杂环境中。为了准确地指示图像位置,区别图像表征和文本表征,研究者使用了图像标志(image token,即 <\image n>),并且模型允许多图像输入(<\image 1>、<\image 2>))。
为了充分利用 LLM 的优势,研究者利用强大的 LLM(Vicuna)作为骨干。训练过程中冻结语言模型(LLM)和视觉编码器(visual encoder)的参数,解冻 LLM 和 visual encoder 之间的连接模块(Q-former)的参数,并在交通领域数据集上对其进行微调。从而既能利用 LLM 和 visual encoder 预训练的知识,同时使其适应交通多模态场景中的特定需求。
多模态模型训练包括三步:
1. 预训练:预训练的视觉编码器和 LLM 都保持冻结,只有 Q-Former 需要学习与文本最相关的视觉表示,并由 LLM 通过类似 LAION-400M 的训练进行解释。
2. 多模态指令微调:执行多模态指令微调以提高 VLM 的性能,类似 [InstructBLIP](https://github.com/salesforce/LAVIS/projects/instructblip)。
3. 多模态上下文指令微调:进一步在数据集中执行多模态上下文指令微调,以激活处理 VLM 的多图像输入的能力。这个阶段使其能够充分激发多模态环境中 LLM 令人印象深刻的推理潜力。
评测
研究者在交通 benchmark 上进行了 zero-shot 评测:
1. 交通安全教育:生成交通安全教育材料,如安全驾驶的建议、交通规则的解释等。
2. 交通情况预测:分析社交媒体或新闻报道中的文本信息,预测交通流量、交通堵塞或事故的可能性。
3. 事故报告和分析:理解交通事故报告,提供事故原因的初步分析。
4. 交通规划:分析公众对于交通规划提案的反馈和意见,提供决策者更全面的信息。
写在最后
以交通行业大模型为关键驱动,TransGPT 运用现代信息技术,集成感知、通信、控制、决策、协同等功能,实现交通设施、交通运输工具、交通管理和交通服务的智能化,赋能行业生产效率和服务质量提升,将会推动交通行业的深刻变革。实际应用行业场景的反馈,又将进一步加速交通行业大模型的技术迭代,从而提高国产交通大模型的竞争力。「TransGPT 综合交通大模型」可化身为「交通行业专家、工程师」,与交通行业政策制定者、执行者、工程师、运维人员、普通用户进行交流合作,提供支撑辅助能力,协助其分析解决方法并提供决策建议。
此前,北京交通大学长期深耕交通主赛道,在人工智能交通行业大模型能力上已具备一定基础,形成了一定的行业壁垒、数据壁垒、知识壁垒,逐步夯实了面向铁路工程、道路工程、桥梁工程、隧道工程、公路运输、水路运输、城市公共交通运输、交通运输经济、交通运输安全等交通行业大模型优势。
综合交通大模型的诞生只是一个起点,其最终还是要落脚到特定细分的交通应用场景。未来,团队将以 TransGPT 综合交通大模型为基础,打 造以交通知识大模型为中心、以实时信息为渠道,自主预测、提前预警、主动服务的交通一体化体系,为交通参与者提供多样性的服务,从而使人、车、路之间的相互作用关系以新的方式呈现,从而实现实时、准确、高效、安全、节能的目标。