(12)发明专利申请
(10)申请公布号 CN 111931905 A(43)申请公布日 2020.11.13
(21)申请号 202010666880.1(22)申请日 2020.07.13
(71)申请人 江苏大学
地址 212013 江苏省镇江市京口区学府路
301号(72)发明人 蔡英凤 汪梓豪 周奇扬 陈龙
王海 李祎承 陈小波 袁朝春 何友国 (51)Int.Cl.
G06N 3/04(2006.01)G06N 3/08(2006.01)G06T 7/207(2017.01)
权利要求书5页 说明书7页 附图1页
(54)发明名称
一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法(57)摘要
本发明公开了一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法，模型共由编码器、空间信息提取层、解码器三个模块组成。首先，对交通场景内被预测车及其周围车辆以5Hz的频率进行采样，获取各车辆采样点的位置坐标以及动力学参数，包括横纵坐标和横纵向车速、加速度。由被预测车和周围车辆的坐标和车速，计算出被预测车和周围各车辆之间的碰撞时间TTC并判断出车辆行为；将包含以上信息的各车历史轨迹输入模型，编码轨迹中的时序交互特征并提取的空间特征，将上述特征总结为上下文向量后输入至LSTM解码器生成车辆的未来轨迹坐标。本发明解决了使用传统递归神经网络不能获取的车辆交互产生的特征信息，极大提高了对车辆轨迹的预测精度。
CN 111931905 ACN 111931905 A
权 利 要 求 书
1/5页
1.一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，包括S1，设置图卷积神经网络模型的输入数据：包括被预测车历史轨迹、被预测车周边车辆历史轨迹、被预测车与周边车辆的碰撞时间TTC以及各时刻车辆行为；
S2，图卷积神经网络模型的结构设计；包括三个模块：模块一为车辆轨迹编码器模块，该模块由图卷积神经网络层以及LSTM编码器组成，其中图卷积神经网络层负责编码车辆之间的联系和影响的关系特征，LSTM编码器提取车辆轨迹序列在时间维度上的特征；模块二为空间特征提取层，由两层卷积层和一层池化层构成，作用是提取交通场景内由于车辆位置构成的空间特征；模块三为解码器，即LSTM解码器，将前两个模块提取的特征通过解码器输出预测的未来车辆轨迹坐标；
S3，训练图卷积神经网络模型；包括设置相应的训练数据和训练环境对模型进行训练；S4，利用训练好的模型进行车辆轨迹预测。
2.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S1中的输入数据具体定义如下：
(1)被预测车历史轨迹
被预测车历史轨迹序列表达为：Xego＝{x(t-S),…,x(t-1),x(t)}S为历史轨迹序列长度，t为当前时刻，其中：
是被预测车的横纵向坐标,是被预测车横纵向加速度：
是被预测车的横纵向车速，
(2)被预测车周边车辆历史轨迹构建以被预测车为中心，宽度为三车道，长度为多个车长和平均车头间距的占据栅格图，将占据栅格图内包含的车辆定义为被预测车的周边车辆；
被预测车周边车辆轨迹序列将输入图卷积层进行特征提取，所选取的被预测车周围车辆数目为定值N，则被预测车邻居车辆历史轨迹序列表示为：
(3)被预测车与周边车辆的碰撞时间TTC
被预测车与周边车辆的碰撞时间TTC，即被预测车和第j辆周边车辆按当前行驶方向和状态继续行驶达到相遇点
的时间，相遇点坐标计算由当前时刻被预测车横纵
2
CN 111931905 A
权 利 要 求 书
以及邻居车辆j的横纵坐标
进行计算：
2/5页
坐标
其中，车辆航向角θ使用当前时刻的横纵向车速进行计算，当前航向角方向行驶到达相遇点所花费的时间为：
则当车辆i按
则被预测车与邻居车辆到达碰撞点的时间之差，即碰撞时间TTC可表示为：TTC＝|tcol,ego-tcol,j|；(4)各时刻车辆行为
将道路上行驶的车辆行为定义为三种：车道保持，左换道，右换道；车辆左/右换道定义为：记当前时刻采样点车道为L1，车辆坐标为(x(t),y(t))，向前遍历车辆历史数据采样点，记车辆前推采样点第一次处于非L1车道时的采样点为换道点，坐标为(xc,yc)，记换道点前推第三个采样点的坐标为(xc+3,yc+3)，计算出换道点航向角为：
令采样点车辆坐标与换道点坐标连线的夹角为最小换道判断阈值：
若车辆历史轨迹中换道点前后采样点的航向角满足条件|θθ|≤|θ则认为cmin|≤|cmax|，该时刻车辆正在进行换道行为，θ>0时为左换道，θ＜0时为右换道，不满足条件的采样点均标记为车道保持行为。
3.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S2中车辆轨迹编码器模块的图卷积神经网络层用于提取被预测车与周边车辆之间的非欧几里得距离的关系特征，定义如下：
在同一个交通场景下，运动中的各个车辆之间的各维度特征(包括坐标、动力学特征、驾驶员意图等特征)处于一种相互影响的状态，该状态不属于一种静态的、只依靠欧氏距离传递的空间状态，而是一种非欧的以虚拟连边相互连接的图结构，图中的车辆通过连边把自身特征信息向周边车辆传递，同时也接收周围车辆传递的特征信息，最终图结构完成特征的传递，使得图内特征达到一个新平衡，即完成全图的特征更新；
图中节点个数为N，节点特征为F，图结构的构成表示为G＝(V,E)，其中V为节点集合，V∈RN，E为边缘集合；图中节点之间联系构成的矩阵为邻接矩阵A，A∈RN×N。采用构建自适应邻接矩阵的方法，将邻接矩阵表示为：
3
CN 111931905 A
权 利 要 求 书
3/5页
其中，E1，E2∈RN×F为两个可自学习的参数矩阵，E1表示节点的输出特征权重，E2表示节点的输入特征权重，将E1，E2相乘通过激活函数ReLU并进行一次行归一化后的矩阵最为表征节点间空间依赖性的邻接矩阵。
则每一层网络层图内特征更新可表示为：Hl+1＝AHlWl
网络共使用k层图卷积层提取节点特征，最终将获得的k层特征以及原始特征进行串联处理得到k阶联合特征：
将串联后的k阶特征通过卷积核大小为1×1，输出通道为F的卷积层，聚合图卷积各层之间的特征信息，最后输出可以代表该交通场景内所有车辆之间的非欧相关性的图特征上下文向量。
4.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S2中车辆轨迹编码器模块的LSTM编码器能够获取车辆特征序列的时间特征，LSTM编码器神经元内包含输入门、遗忘门以及输出门三个门控单元；其中输入门控制神经元内隐藏状态和输入特征获取的保留度，遗忘门控制神经元对隐藏状态和输入特征的丢弃度，输入门和遗忘门共同构建神经元内新的记忆数据c，输出门更新当前神经元向后一个神经元传递隐藏状态h以及输出的特征序列output；
LSTM编码器输入为图卷积神经网络层输出的图特征上下文向量和被预测车轨迹序列，其输出能够代表整个输入序列最后一个时刻的隐藏状态的上下文向量，输出向量维度定为64维。
5.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S2中的空间特征提取层设计如下：
构建一个三维空白张量，维度与被预测车框选周围车辆划定的占据栅格图尺寸以及LSTM编码器输出的上下文向量维度相同，将LSTM编码器输出的每辆车的图特征上下文向量嵌入到栅格图内对应的栅格内，构成图时空张量；
利用卷积操作对图时空张量进行空间特征的聚合和提取；首先将张量输入到一个一个卷积核为3×3，输入输出通道数均为64维的卷积层内；再将输出张量输入到卷积核大小为3×1，输出通道数为16；最后通过池化核大小为2×1，padding为(1,0)的池化层提取主要特征信息，最终对输出张量进行降维处理使其变为一维向量。
6.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S2中的LSTM解码器设计包括如下：
将上层输出的上下文向量进行扩展处理，使其时间维度扩张为与预测未来轨迹的时间尺寸相同的尺寸，将此序列输入到LSTM编码器内，最终输出预测轨迹。
7.根据权利要求1所述的一种基于图卷积神经网络模型的车辆轨迹预测方法，其特征在于，所述S3中的训练数据具体设置为：
利用被预测车及其周围车辆3s的历史轨迹特征来预测被预测车未来5s的轨迹坐标，车辆的轨迹数据以一定的频率进行采样，把当前时刻前3s的历史轨迹数据与当前时刻数据合
4
CN 111931905 A
权 利 要 求 书
4/5页
并，获得一条由各采样点组成的轨迹序列，作为模型的输入张量；每一个采样点包含了车辆的2个坐标，4个动力学特征、碰撞时间TTC、以及长度为3的车辆行为one-hot向量，共计10个特征值；将被预测车坐标设定为(0，0)，被预测车周围车辆坐标将修正为以被预测车为原点的相对坐标；
占据栅格图宽度为以被预测为中心的三车道，即3个栅格，长度定义为13个栅格，占据栅格图的数据形式为一个(3，13)的矩阵，被预测车在占据栅格图内的位置为(2，7)，车辆数据嵌入在相应的栅格内，若栅格内无车辆，则嵌入维度与车辆数据维度相同的全0向量；将获取的车辆数据整合为一个训练数据集；
所述S3中的训练环境为：使用pytorch框架实施对模型的训练，其中模型使用Adam优化器来加速模型的学习速度，将Adam优化器的学习率设定为0.001，损失函数使用均方根误差RMSE，该误差直观计算预测值和观测值之间的离差；
采集轨迹预测实施场景内连续时间段内的真实车辆数据作为模型训练的数据集，模型训练使用的训练集、验证集和测试集都取自该数据集；使用pytorch内置DateLoader模块，使用迭代器智能选取数据样本，向模型输入相应格式的数据张量。
8.一种图卷积神经网络模型，其特征在于，包括三个模块：模块一为车辆轨迹编码器模块，该模块由图卷积神经网络层以及LSTM编码器组成，其中图卷积神经网络层负责编码车辆之间的联系和影响的关系特征，LSTM编码器提取车辆轨迹序列在时间维度上的特征；模块二为空间特征提取层，由两层卷积层和一层池化层构成，作用是提取交通场景内由于车辆位置构成的空间特征；模块三为解码器，即LSTM解码器，将前两个模块提取的特征通过解码器输出预测的未来车辆轨迹坐标。
9.根据权利要求8所述的一种图卷积神经网络模型，其特征在于，所述LSTM编码器：获取车辆特征序列的时间特征，LSTM编码器神经元内包含输入门、遗忘门以及输出门三个门控单元；其中输入门控制神经元内隐藏状态和输入特征获取的保留度，遗忘门控制神经元对隐藏状态和输入特征的丢弃度，输入门和遗忘门共同构建神经元内新的记忆数据c，输出门更新当前神经元向后一个神经元传递隐藏状态h以及输出的特征序列output；LSTM编码器输入为图卷积神经网络层输出的图特征上下文向量和被预测车轨迹序列，其输出能够代表整个输入序列最后一个时刻的隐藏状态的上下文向量，输出向量维度定为64维；
所述空间特征提取层：构建一个三维空白张量，维度与被预测车框选周围车辆划定的占据栅格图尺寸以及LSTM编码器输出的上下文向量维度相同，将LSTM编码器输出的每辆车的图特征上下文向量嵌入到栅格图内对应的栅格内，构成图时空张量；利用卷积操作对图时空张量进行空间特征的聚合和提取；首先将张量输入到一个一个卷积核为3×3，输入输出通道数均为64维的卷积层内；再将输出张量输入到卷积核大小为3×1，输出通道数为16；最后通过池化核大小为2×1，padding为(1,0)的池化层提取主要特征信息，最终对输出张量进行降维处理使其变为一维向量；
所述LSTM解码器：将上层输出的上下文向量进行扩展处理，使其时间维度扩张为与预测未来轨迹的时间尺寸相同的尺寸，将此序列输入到LSTM编码器内，最终输出预测轨迹。
10.根据权利要求8所述的一种图卷积神经网络模型，其特征在于，所述图卷积神经网络模型的内部参数具体为：
5
CN 111931905 A
权 利 要 求 书
5/5页
数据输入层为全连接层，输入维度为10，输出维度为32；编码器包含五层神经网络，第一至三层为图卷积层，输入输出维度均为32；第四层为卷积核为1×1的卷积层，输入通道为128，输出通道为32；第五层为LSTM编码器层，输入维度为32，输出维度为64；空间特征提取模块包含三层神经网络，第一层为卷积核大小为3×3，输入输出通道都为64的卷积层；第二层为卷积核大小为3×1，输入通道为64，输出通道为16的卷积层；第三层为最大池化层，池化核大小为2×1，上下填充为1，输入输出通道均为16；解码器包含三层神经网络，第一层为全连接层，输入维度为227，输出维度为128；第二层为LSTM解码器，输入输出维度均为128；第三层为全连接层，输入维度为32，输出维度为2。
6
CN 111931905 A
说 明 书
1/7页
一种图卷积神经网络模型、及利用该模型的车辆轨迹预测
方法
技术领域
[0001]本发明属于车辆智能驾驶领域，特别是涉及一种基于图卷积神经网络模型的车辆轨迹预测方法。
背景技术
[0002]随着时代的变迁，科学技术的发展，国内外研究学者对智能驾驶汽车控制决策的研究日益深入。为了更加安全高效地在人类驾驶员组成的复杂交通场景中导航，智能驾驶汽车必须具有主动权，例如决定何时更改车道，超车或减慢速度以允许其他车辆进行车道合并。这要求智能驾驶车辆具有某种能力来预测自身以及周围车辆的轨迹，以便在与周围车辆发生相互作用之前能够主动采取措施规避此类风险。
[0003]目前车辆轨迹预测方法主要使用了递归神经网络(RNN)中的长短时记忆神经网络(LSTM)来，实现了对车辆未来轨迹的预测。模型通过LSTM网络提取车辆历史轨迹内的时序特征，拟合历史轨迹和未来轨迹之间的非线性关系，最后通过损失函数值的反向传播来完成预测。很多模型使用了自然语言处理中的seq2seq编码器解码器结构，通过LSTM编码器提取车辆轨迹的时间特征，将其编码成特征上下文向量；LSTM解码器则对上下文向量进行解码，生成未来轨迹坐标。卷积神经网络(CNN)的加入使得编码器获得了编码交通场景内车辆间相对位置构成的空间特征的能力，由此提高轨迹预测的精准度。[0004]但是，在不同交通场景下运行的车辆之间还存在着无形的交互作用。一辆车行驶过程中所包含的行为和特征发生某种变化的同时也影响了该车辆周围的车辆，使其改变自身状态。单以长短时记忆神经网络和卷积神经网络建立的模型只考虑空间信息以及时间信息，难以表达出这种隐式关系。图卷积神经网络则很好地捕捉了车辆所在交通场景内车辆之间存在的这种关系。通过图神经网络，将同一交通场景下的车辆构建为一种非欧结构的拓扑图模型。车辆为图中的节点，车辆之间的特征通过连边传递。每当有节点发生状态变化，该变化会通过连边传递给周围的节点，从而更新图中各节点的状态。加入了图卷积神经网络的轨迹预测模型能够提取图中各节点之间的依赖关系，将其与时间和空间特征相结合，为车辆未来轨迹的预测提供更加丰富的特征信息。发明内容
[0005]为解决上述问题，本发明提出一种基于图卷积神经网络模型、以及利用该模型来预测车辆未来轨迹坐标的方法。本发明设计的图卷积神经网络模型能够更好地捕捉到车辆之间各特征信息的传递和更新以及车辆之间的依赖关系。[0006]在使用神经网络模型之前，需要对输入模型的数据进行预处理。首先，对交通场景内被预测车及其周围车辆以20Hz的频率进行采样，获取各车辆采样点的位置坐标以及动力学参数，包括车辆横纵坐标、横纵向车速以及横纵向加速度。由被预测车和周围车辆的坐标和车速的变换，计算出被预测车和周围各车辆之间的碰撞时间TTC并判断出车辆行为。将以
7
CN 111931905 A
说 明 书
2/7页
上信息作为模型的输入。[0007]如图1所示，本发明搭建的模型共由编码器、空间信息提取层、解码器三个模块组成。
[0008]其中编码器使用多层图卷积神经网络，提取到车辆序列数据内隐含的图结构信息。再通过长短记忆神经网络(LSTM)编码，获取数据中的图时序特征，编码成上下文向量。空间信息提取层构造以真实车辆位置为参照的占据栅格图，并将各车辆的图时序特征上下文向量嵌入到占据栅格图中相对应的位置，构成三维张量。使用卷积神经网络提取数据中深层的空间特征，并将其压缩，形成包含图、时序、空间三种特征的上下文向量，将图时空上下文向量和车辆历史轨迹共同输入到LSTM解码器中，生成车辆的未来轨迹坐标。[0009]具体的技术方案描述在下面具体实施方式部分作了详细描述。[0010]本发明的有益效果：[0011](1)本发明提出的基于图卷积神经网络车辆轨迹预测模型解决了使用传统递归神经网络不能获取的车辆交互产生的特征信息，并将图卷积神经网络与长短时记忆神经网络构成的编码器解码器结构以及卷积神经网络通过串联操作、全连接层以及合适的激活函数很好的融合在一起，极大提高了对车辆轨迹的预测精度。[0012](2)本发明提出了对车辆初始动力学特征的处理方法，将车辆间的动力学参数、碰撞时间和车辆行为作为车辆轨迹预测必要的输入参数，极大提高了模型的鲁棒性和预测精准性。并且对车辆坐标相对于被预测车进行了相对坐标计算处理，提高了模型的泛化能力。[0013](3)本发明给出了神经网络模型的训练方法，给出了建议的神经网络训练所必须的超参数，以及各神经网络层合适的输入输出维度以及层数。在保证模型训练速度的情况下，使得模型训练得到更加精准的结果，并且有效避免了发生过拟合的情况。附图说明
[0014]图1为模型结构示意图。
具体实施方式
[0015]下面结合附图对本发明作进一步说明。[0016]Step1：模型搭建[0017]一、模型输入
[0018]轨迹预测的输入特征值包含4个必要组成成分，包括被预测车历史轨迹、被预测车周边车辆历史轨迹、被预测车与周边车辆达到碰撞点的时间TTC以及各时刻车辆行为。[0019](1)被预测车历史轨迹
[0020]被预测车历史轨迹序列可表达为：[0021]Xego＝{x(t-S),…,x(t-1),x(t)}[0022]S为历史轨迹序列长度，x(t)表示被测车历史轨迹，t为当前时刻，其中：
[0023][0024]
是被预测车的横纵向坐标,是被预测车的横纵向车速，
8
CN 111931905 A
说 明 书
3/7页
是被预测车横纵向加速度。
[0025][0026]
被预测车横纵向车速和加速度计算公式如下，：
[0027]
[0028][0029]
其中为被预测车行驶方向的车速和加速度，θ为车辆行驶时的航向角。
(2)被预测车周边车辆轨迹
[0030]构建以被预测车为中心，宽度为三车道，长度为多个车长和平均车头间距的占据栅格图，将占据栅格图内包含的车辆定义为被预测车的周边车辆。[0031]被预测车周边车辆轨迹序列将输入图卷积层进行特征提取，所以选取的被预测车周围车辆数目为定值N，则被预测车邻居车辆历史轨迹序列表示为：
[0032][0033][0034]
(3)碰撞时间TTC
被预测车与周边车辆的碰撞时间TTC，即被预测车和第j辆周边车辆按当前行驶方
的时间，相遇点坐标计算由当前时刻被预测车
进行计算：
向和状态继续行驶达到相遇点横纵坐标
[0035]
以及邻居车辆j的横纵坐标
[0036]
[0037]其中，表示被预测车t时刻的航向角，第j辆邻居车辆航向角使用当前时刻
的横纵向车速进行计算到达相遇点所花费的时间为：
[0038][0039][0040][0041][0042][0043]
则当车辆i当前车速vi并保持航向角θi方向行驶
则被预测车与邻居车辆到达碰撞点的时间之差，即碰撞时间TTC可表示为：TTC＝|tcol,ego-tcol,j|
tcol,ego表示被测车到达碰撞点的时间，tcol,j表示邻居车辆到达碰撞点的时间。(4)车辆行为
将道路上行驶的车辆行为分为三种：车道保持，左换道，右换道。
9
CN 111931905 A[0044]
说 明 书
4/7页
车辆左/右换道定义为：记当前时刻采样点车道为L1，车辆坐标为(x(t),y(t))。向前
遍历车辆历史数据采样点，记车辆前推采样点第一次处于非L1车道时的采样点为换道点，坐标为(xc,yc)。记换道点前推第三个采样点的坐标为(xc+3,yc+3),计算出换道点航向角为：
[0045][0046][0047]
令采样点车辆坐标与换道点坐标连线的夹角为最小换道判断阈值：
若车辆历史轨迹中换道点前后采样点的航向角满足条件|θθ|≤|θ则cmin|≤|cmax|，认为该时刻车辆正在进行换道行为，θ>0时为左换道，θ＜0时为右换道。不满足条件的采样点均标记为车道保持行为。将判断好的车辆行为转化为one-hot向量的形式(如车道保持为的one-hot向量形式为：(0，1，0))，与其他条件一起作为模型的输入参数。[0049]二、模型结构[0050](1)模型整体结构
[0051]模型整体结构如图1所示，模型共由三个大模块组成。模块一为车辆轨迹编码器模块，该模块由图卷积神经网络层以及LSTM编码器组成，其中图卷积神经网络层负责编码车辆之间的联系和影响的关系特征，LSTM编码器提取车辆轨迹序列在时间维度上的特征。模块二为空间特征提取层，由两层卷积层和一层池化层构成，作用是提取交通场景内由于车辆位置构成的空间特征。模块三为解码器，即LSTM解码器，将前两个模块提取的特征通过解码器输出预测的未来车辆轨迹坐标。[0052](2)编码器模块
[0053]图卷积神经网络层:
[0054]图卷积神经网络用于提取被预测车与周边车辆之间的非欧几里得距离的关系特征。在同一个交通场景下，运动中的各个车辆之间的各维度特征(包括坐标、动力学特征、驾驶员意图等特征)都处于一种相互影响的状态。该状态不属于一种静态的、只依靠欧氏距离传递的空间状态，而是一种非欧的以虚拟连边相互连接的图结构。图中的车辆通过连边把自身特征信息向周边车辆传递，同时也接收周围车辆传递的特征信息，最终图结构完成特征的传递，使得图内特征达到一个新平衡，即完成全图的特征更新。[0055]图中节点个数为N，节点特征为F，图结构的构成表示为G＝(V,E)。其中V为节点集合，V∈RN，E为边缘集合。图中节点之间联系构成的矩阵为邻接矩阵A，A∈RN×N。由于处于交通场景下的各车辆之间关系为动态关系，无法直接定义车辆之间的连边。本发明采用构建自适应邻接矩阵的方法，将邻接矩阵表示为：
[0056][0057]
[0048]
其中，E1，E2∈RN×F为两个可自学习的参数矩阵，E1表示节点的输出特征权重，E2表示节点的输入特征权重。将E1，E2相乘通过激活函数ReLU并进行一次行归一化后的矩阵最为表征节点间空间依赖性的邻接矩阵。[0058]则每一层网络层图内特征更新可表示为：[0059]Hl+1＝AHlWl
[0060]其中Wl为第l层图卷积层更新特征的权重矩阵。网络共使用k层图卷积层提取节点
10
CN 111931905 A
说 明 书
5/7页
特征，最终将获得的k层特征以及原始特征进行串联处理得到k阶联合特征：
[0061]
其中，||表示串联符号。将串联后的k阶特征通过卷积核大小为1×1，输出通道为F的卷积层，聚合图卷积各层之间的特征信息，最后输出可以代表该交通场景内所有车辆之间的非欧相关性的图特征上下文向量。[0063]LSTM编码器：
[0064]LSTM编码器用以获取车辆特征序列的时间特征，LSTM神经元内包含输入门、遗忘门以及输出门三个门控单元。其中输入门控制神经元内隐藏状态和输入特征获取的保留度，遗忘门控制神经元对隐藏状态和输入特征的丢弃度，输入门和遗忘门共同构建神经元内新的记忆数据c，输出门更新当前神经元向后一个神经元传递隐藏状态h以及输出的特征序列output。
[0065]LSTM编码器输入为图卷积神经网络层输出的图特征上下文向量和被预测车轨迹序列，输出能够代表整个输入序列最后一个时刻的隐藏状态的上下文向量，输出向量维度定为64维。[0066](3)空间特征提取层
[0067]构建一个三维空白张量，维度与被预测车框选周围车辆划定的占据栅格图尺寸以及编码器输出的上下文向量维度相同。将编码器输出的每辆车的图特征上下文向量嵌入到栅格图内对应的栅格内，构成图时空张量。[0068]利用卷积操作对张量的进行空间特征的聚合和提取。首先将张量输入到一个一个卷积核为3×3，输入输出通道数均为64维的卷积层内，作用是聚合各车道内部的空间特征。再将输出张量输入到卷积核大小为3×1，输出通道数为16。最后通过池化核大小为2×1，padding为(1,0)的池化层提取主要特征信息，最终对输出张量进行降维处理使其变为一维向量。将该向量与被预测车上下文向量进行串联，作为输入解码器的特征张量。[0069](4)LSTM解码器
[0070]将上层输出的上下文向量进行扩展处理，使其时间维度扩张为与预测未来轨迹的时间尺寸相同的尺寸。将此序列输入到LSTM编码器内，最终输出预测轨迹。[0071]Step2：车辆轨迹预测[0072]一、模型训练[0073](1)训练数据
[0074]模型将利用被预测车和被预测车周围车辆3s的历史轨迹特征来预测被预测车未来5s的轨迹坐标。车辆的轨迹数据以一定的频率进行采样，把当前时刻前3s的历史轨迹数据与当前时刻数据合并，获得一条由各采样点组成的轨迹序列，作为模型的输入张量。每一个采样点包含了车辆的2个坐标，4个动力学特征、碰撞时间TTC、以及长度为3的车辆行为one-hot向量，共计10个特征值。将被预测车坐标设定为(0，0)，被预测车周围车辆坐标将修正为以被预测车为原点的相对坐标，加强模型的泛化性和鲁棒性。[0075]占据栅格图宽度为以被预测为中心的三车道，即3个栅格，长度定义为13个栅格。占据栅格图的数据形式为一个(3，13)的矩阵，被预测车在占据栅格图内的位置为(2，7)。车辆数据嵌入在相应的栅格内，若栅格内无车辆，则嵌入维度与车辆数据维度相同的全0向量。
11
[0062]
CN 111931905 A[0076]
说 明 书
6/7页
将获取的车辆数据整合为一个训练数据集，以每次取样128个序列，采样频率为
5Hz为例，则输入模型内编码器的数据尺寸为(128，16，40，10)和(128，16，1，10)。[0077](2)训练环境
[0078]使用pytorch框架实施对模型的训练，其中模型使用Adam优化器来加速模型的学习速度，将Adam优化器的学习率设定为0.001，使得训练能够更准确的找到全局最优点。损失函数使用均方根误差RMSE，该误差直观计算预测值和观测值之间的离差。
[0079]采集轨迹预测实施场景内连续时间段内的真实车辆数据作为模型训练的数据集，模型训练使用的训练集、验证集和测试集都取自该数据集。使用pytorch内置DateLoader模块，使用迭代器智能选取数据样本，向模型输入相应格式的数据张量。[0080](3)训练轮次根据实际需求和训练效果做实时调整，每经过一轮训练，保存一次模型参数文件，[0081]二、模型运行过程
[0082]模型内部各层参数如表1所示。数据输入层为全连接层，输入维度为10，输出维度为32。编码器包含五层神经网络，第一至三层为图卷积层，输入输出维度均为32；第四层为卷积核为(1×1)的卷积层，输入通道为128，输出通道为32；第五层为LSTM编码器层，输入维度为32，输出维度为64。空间特征提取模块包含三层神经网络，第一层为卷积核大小为(3×3)，输入输出通道都为64的卷积层；第二层为卷积核大小为(3×1)，输入通道为64，输出通道为16的卷积层；第三层为最大池化层，池化核大小为(2×1)，上下填充为1，输入输出通道均为16。解码器包含三层神经网络，第一层为全连接层，输入维度为227，输出维度为128；第二层为LSTM解码器，输入输出维度均为128；第三层为全连接层，输入维度为32，输出维度为2。模型运行方式如图1所示。模型输入参数经过全连接层，将特征维度由10扩张为32。[0083](1)编码器
[0084]图卷积神经网络层包含3层GCN层，组成邻接矩阵的参数矩阵尺寸为(40,10)。每一层内设置dropout，丢弃比例值设为0.2。图卷积层每一层输出特征维度与初始维度保持相同，经过串联后得到长度为128的特征数据，通过卷积核大小为1的卷积层把将特征长度变为32。最后将输出值经过激活函数leakyReLU，负值斜率定为0.2，增加网络的非线性。[0085]LSTM编码器输入维度为32，输出维度为64，层数为1。最终输出最后一个采样时刻的隐藏状态h作为编码向量，通过激活函数leakyReLU后将其向下一个模块传递。[0086](2)空间状态提取层
[0087]每辆车的编码向量嵌入相应的占据栅格图张量内，若附近车辆与被预测车存在同一个栅格内，则将两者的编码向量相加。将空间张量通过卷积核为(3×3)和(3×1)的卷积层后输入到池化核为(2×1)，padding为(1,0)的池化层中，提取出被预测车各历史轨迹点与周围车辆构成的空间特征图，尺寸为(5×1)。最终通过降维处理将输出的特征图中包含的所有车辆特征融合为一维向量，将该向量与被预测车编码向量串联传递给解码器模块。[0088](3)解码器
[0089]输入数据通过全连接层将特征维度改变为LSTM解码器的输入维度128。该数据样本内的每一个特征向量都集合了该序列的时间、空间、以及图特征信息，将特征向量进行复制处理，把时间维度扩张为预测时序的长度。数据经过编码器后在经过一个全连接层，输出被预测车当前时刻未来5s车辆轨迹坐标序列，完成轨迹预测任务。
12
CN 111931905 A[0090]
说 明 书
7/7页
表1
[0091]
[0092]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说
明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
[0093]
13
CN 111931905 A
说 明 书 附 图
1/1页
图1
14
因篇幅问题不能全部显示，请点此查看更多更全内容