2023年5月11日，北京市高级别自动驾驶示范区(以下简称示范区)联合清华大学智能产业研究院(AIR)、北京车网科技发展有限公司、百度Apollo、北京智源人工智能研究院，推出全球首个基于真实道路场景的时序车路协同数据集V2X-Seq，向境内用户提供下载使用。该数据集填补了目前业界真实道路场景车路协同时序数据集的空白，有效加速车路协同时序感知和车路协同轨迹预测研究。
2022年2月发布的第一期车路协同数据集DAIR-V2X，受到了学术界和产业界的广泛关注。截至目前，DAIR-V2X数据集已经在国内注册用户中积累了超过2000人，下载量近3万次。基于DAIR-V2X数据集的研究已经有多项成果发表在CVPR、NeurIPS、ICLR、ICRA等人工智能领域的顶级会议上。这些成果的发表，不仅展示了DAIR-V2X数据集的研究价值，也充分说明了其在人工智能领域的影响力。
本次发布的第二期时序车路协同数据集V2X-Seq，由车路协同时序感知数据集和车路协同轨迹预测数据集组成，旨在支撑车路协同时序感知和车路协同轨迹预测研究。通过自研的时空轨迹匹配算法，V2X-Seq数据集提供了高质量的协同轨迹真值，为车路协同跟踪和车路协同轨迹预测相关研究提供了评测基准。同时，基于V2X-Seq数据集，定义了车路协同3D跟踪、车路协同轨迹预测相关的三个研究任务，并提供了丰富的算法基准。该数据集及相关算法成果已被CVPR2023正式接受。
车路协同时序感知
车路协同时序感知数据集，包含超过1.5万对车端与路端协同视角下的时序图像和点云数据，并提供了完备的3D目标及Tracking ID标注，用于支持车路协同3D检测和跟踪任务。
车路协同轨迹预测
车路协同轨迹预测数据集，覆盖28个真实路口，包含超过20万个片段(涵盖目标轨迹、红绿灯信号等)，其中路端与车端协同视角片段约5万个，每个片段时长10秒，按照10HZ提供8类常见障碍物目标的轨迹，用于车路协同轨迹预测任务研究。
针对目前自动驾驶数据采集制作成本过高的问题，示范区利用现有建设成果，集合“车、路、云、网、图”五大要素，全方位、多模态、多视角地收集大量数据，为学术界和产业界的研究者提供了丰富的数据资源。这些资源有助于促进车路协同自动驾驶技术的应用与优化，同时相关研究也将有助于城市提升交通运行效率和减少交通事故的发生。
数据采集
A. 场景设置
路侧设备：基于北京市高级别自动驾驶示范区，选择若干交通场景复杂路口，路侧部署相机和激光雷达，完成GPS授时同步，并完成相应的内参外参标定。
自动驾驶车辆：利用配置好相机和激光雷达的自动驾驶车辆，完成GPS授时同步，并完成相应的内参外参标定。
设置路线并采集数据：当自动驾驶路线经过路侧设备附近区域时，分别保存该时段路侧传感器和自动驾驶传感器数据。
截取数据：从保存的传感器数据截取20s以上片段作为车路协同数据。
B. 路端采集设备
在每个路口安装至少一对相机和激光雷达，其中每对相机和激光雷达安装在相同方位，同时对该相机和激光雷达进行标定，并对图像去畸变。路侧传感器型号如下：
300线LiDAR
- 采样帧率：10Hz
- 水平FOV：100° ，垂直FOV：40°
- 最大探测范围：280m
- 探测距离精度：<=3cm
Camera
- 传感器类型：1英寸全局曝光CMOS
- 采样帧率：25Hz
- 图像格式：RGB格式，按1920x1080分辨率压缩保存为JPEG图像
C. 车端采集设备
自动驾驶车配备1个顶端激光雷达1个前视摄像头，同时对该激光雷达和前视摄像头进行标定，并对图像去畸变。顶端激光雷达和前视摄像头型号如下：
Hesai Pandar40线LiDAR
- 采样帧率：10Hz
- 水平FOV：360° ，垂直FOV：40°，-25°~15°
- 最大探测范围：200m；反射率：10%；最小垂直分辨率：0.33°
Camera
- 采样帧率：20HZ
- 水平FOV：128° ，垂直FOV：77°
- 图像格式：1920x1080分辨率
D. 标定和坐标系
为了达到不同传感器之间的空间同步，车路协同需要使用传感器参数信息进行坐标系转换，其中为方便研究人员使用和数据隐私保护，路端LiDAR相关数据统一旋转到与地面平行的虚拟LiDAR坐标系，世界坐标系统一旋转平移到虚拟世界坐标系。各坐标系之间的关系如下图：
-虚拟世界坐标系
虚拟世界坐标系是以地面某一随机位置为原点，x 轴、y 轴与地面平行，z 轴垂直于地面竖直向上，符合右手坐标系规则。
-LiDAR坐标系
LiDAR坐标系是以LiDAR传感器的几何中心为原点，x 轴水平向前，y 轴水平向左，z轴竖直向上，符合右手坐标系规则。
-虚拟LiDAR坐标系
虚拟LiDAR坐标系是以LiDAR传感器的几何中心为原点，x 轴平行地面向前，y 轴平行地面向左，z 轴垂直于地面竖直向上，符合右手坐标系规则。由于路端LiDAR与地面存在俯仰角，为方便研究，通过路端LiDAR外参矩阵，统一将路端LiDAR坐标系转到虚拟LiDAR坐标系，同时将路端点云全部转到虚拟LiDAR坐标系。
-相机坐标系
相机坐标系是以相机光心为原点，x 轴和y 轴与图像平面坐标系的x 轴和y 轴平行，z轴与相机光轴平行向前、与图像平面垂直。通过LiDAR到相机的外参矩阵，可以将点从LiDAR坐标系转到相机坐标系。
-图像坐标系
图像坐标是以相机主点(即相机光轴与图像平面的交点，一般位于图像平面中心)为原点，x 轴水平向右，y 轴水平向下的二维坐标系。相机内参可以实现从相机坐标到图像坐标的投影。
-定位系统
利用GPS/IMU等定位和惯性系统，可实时获取自动驾驶车辆在全球定位系统的位置以及朝向角。为保护数据安全和研究方便，将真实世界定位系统得到的定位转换到虚拟世界坐标系下。
E. 时间同步
时间同步是为实现车路协同针对路端和车端传感器所做的同步操作。利用GPS授时以同步各传感器时间，并在采集每帧数据时得到相应的时间戳。时间戳可通过时间转换得到相应的标准时间。
数据标注
数据抽样
当自动驾驶车辆经过路端设备所在路口时，车端路端传感器同步采集车路协同序列数据，从中抽取约100段时长20s左右的多模态序列数据，按照10HZ频率分别对车端和路端序列进行抽样得到离散帧。
单端3D标注
针对采样得到的路端和车端数据，利用2D&3D联合标注技术，标注图像和点云数据中的道路障碍物目标的2D和3D框，同时标注障碍物类别、遮挡、截断、轨迹ID等信息。提供两套3D标注，分别以Camera和LiDAR时间戳为基准。
- 障碍物类别：一共10类，包括行人、机动车等
-障碍物截断：从[0, 1, 2]中取值，分别表示不截断、横向截断、纵向截断
-障碍物遮挡：从[0, 1, 2]中取值，分别表示不遮挡、0%～50%遮挡，50%～100%遮挡
-2D box：图像中2D bounding box框
-3D box：点云上3D bounding box，车端基于 LiDAR坐标系，路端基于虚拟LiDAR坐标系；包括 (height, width, length, x_loc, y_loc, z_loc, rotation)，其中rotation表示障碍物绕Z轴旋转角度
-轨迹ID：不同的目标赋予不同的轨迹ID。除静态目标交通锥筒(Trafficcone)，其它9类检测框都被标注轨迹ID。遮挡前后的目标共享相同的轨迹ID。
车路协同3D标注
车路协同3D标注基于自主研发的时空同步算法和轨迹匹配算法，对车路数据进行协同检测、跟踪标注，并进行人工二次矫正得到高质量的车路协同标注。
数据集文件结构
