第３５卷第３期 萍乡学院学报 ２０１８年６月 Ｖ＿０１．３５ Ｎ０．３ Ｊｏｕｒｎａｌ ｏｆ Ｐｉｎｇｘｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｊｕｎ－２０１８ 基于深度学习的无线网络数据时空建模和预测研究 李莉贞 （阳泉师范高等专科学校信息技术系，山西阳泉０４５０００） 摘要：首先对互联网服务提供商获得的无线网络数据（主要是蜂窝移动网络的数据）进行了初步分析，揭示了相 邻基站的数据之间具有时间和空间相关性。然后建立了一种时空预测的混合深度学习模型，并提出了一种新的空间 模型训练算法。最后使用无线网络数据集进行实验来评估模型的Ｉ陛能。结果表明，所提出的深度模型显著提高了预 测精度。 关键词：深度学习；无线网络；时空模型；预测算法 中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：２０９５．９２４９（２０１８）０３．００７９．０４ 随着无线网络的发展，移动设备已经成为人们日 域显示非零的自相关。使用样本白相关函 来检测 常生活中必不可缺的重要部分。移动设备产生了大量 数据在时间域的相关性，该函数的定义如下所示： 的无线网络数据；同时，复杂的无线网络产生了大量 ∑（ 一 ）（ ＋ 一歹） （１） 的运行时统计数据。通过这些数据，互联网提供商能 』 ｌ ． 一ｔ＝ｌ够更好地理解用户需求和系统功能，以便进行资源分 ｃ０ 配的优化。无线系统数据基本上是时间序列数据，但 该函数检测了数据样本Ｙｔ与Ｙｔ＋ 之间的相关性， 是 同时也表现出空间依赖性。通过利用大系统数据，提出 平均数，ｃＯ是数据样本的方差。若ｒｋ等于１（一１）， 了一种无线网络时空建模和预测的深度学习方法，并 此时数据具有正（负）自相关性；若 等于零，则数据 利用实验进行性能评估。 不具有自相关性。在将数据集中的数据样本代入公式 （１）后的结果显示：数据集Ｄ在时域显示非零的自相 １数据集分析 关。接下来，公式（２）被用来检测数据集在空间域的 相关性。 首先介绍用于分析和评估的数据集，然后对数据 进行初步分析。本文采用的数据集是来自中国电信某 ∑ 。（ｄｌ一 ）（ 一 ） 分公司的一个大型无线网络，其中包含了２８４４个基站 （ Ｎ ∑ 。 匣产生的数据。该数据集包含了从２０１７年０８月０１日至 Ｎ－１ ２０１７年１２月３０日每小时流量负荷的平均值。为了简 其中，Ⅳ是网格的数量。通过研究了网格数据之间的 化分析过程，目标区域被划分为网格，每个网格包含 空间相关性，经过计算发现，５０％以上的相关值都大 一个基站，网格坐标用二元组（ｍ，，２）表示。用 于０．４。此外，我们可以看到不同网格之间的相关值变 Ｄ＝｛ｄｍ ，）表示网格（ｍ， ）在 时刻的数据流量。对数 化很大，这个性质表明数据具有空间相关性。 据集进行初步分析的目标是探讨数据在时间和空间方 面的相关性。可以分别在时间和空间域上检验数据的 ２基于深度学习的时空建模和预测 时间自相关和空间相关性。根据分析，数据集Ｄ在时 由上一节的数据集分析可知，数据具有强空间相 收稿日期：２０１８．０５—０７ 作者简介：李莉贞（１９７４一），女，山西阳泉人，讲师，研究方向：数据挖掘。 ·８０· 萍乡学院学报 ２０１８．年 关性，因此不能仅对历史数据进行时间建模。基于上 码。而重构输入的过程称为解码。通过重建部分损坏的 输入，去噪自动编码器使数据的表示更具有鲁棒性。自 动编码器可以堆叠形成一个深度学习网络。栈式自编码 能够有效地生成数据的非线性表示。由于数据片具有位 置相关和空间相关性，因此需要以较小的重构损失来获 得更好的编码表示。为了实现这一目标，ＬＳＡ和经过 述观察，通过利用从目标网格及其邻居网格收集的历 史数据，一种新的混合深度学习模型被设计出来，用 以对每个网格 ， ）进行时空建模和预测。该模型由 三个主要部分组成：本地栈式自动编码器（ＬＳＡ）、全 局栈式自动编码器（ＧＳＡ）和长短期记忆网络 （ＬＳＭＮ）。该模型的工作流程如下： １）网格的数据以及其邻居网格的数据组成一个数 据补丁，ＧＳＡ将数据片作为输入，生成一个全局的编 码表示。 训练的ＧＳＡ被用来捕获数据片的局部位置依赖性和空 间相关性，以产生更好的编码表示。 给定训练后的ＧＳＡ，使用ＬＳＡ能进一步减少数据 片的重构损失。首先，训练ＬＳＡ第１层网络的权重以 ２）经过ＧＳＡ编码后，将每个数据补丁移送至相 应的ＬＳＡ，并生成局部编码表示。将全局编码表示 和局部编码表示进行拼接以生成数据补丁的唯一编 码表示。 减少ＧＳＡ网络中第１层的重构损失。然后，对ＬＳＡ的 较高层进行训练，以学习较低层的不同表示。最后，将 ＬＳＡ最高层的编码表示与ＧＳＡ最高层的编码表示拼接 起来，生成数据片的唯一编码表示。 高效的ＳｄＡ．３算法【４］能被用来ＧＳＡ神经网络的训 练，却不能使用ＳｄＡ．３训练ＬＳＡ。接下来对ＬＳＡ网络 ３）将数据补丁的唯一编码表示发送到ＬＳＭＮ以进 行预测。 对于空间建模，自动编码器（ＡＥ）［ ］是进行数据压 缩的最好选择。ＡＥ是通常是拥有一个隐藏层的神经网 中第 层的编码函数 （·）和解码函数ｄ￣ｆｏ（·）进行定 义，分别如公式（３）和公式（４）所示。 络，通过训练获得输入数据的表示【 ，这一过程称为编 （ｘ０） （ Ｘｂ十ｂｂ） （３） ’ｃ 。 ， ㈩ Ｐ （·）是激活函数，本文使用ｓｉｇｍｏｉｄ函数作为激活函 数；Ｘ 是第Ｊ层的输入；Ｙｏ是第Ｊ层的编码结果， 同时 也可以作为上层的输入，即Ｙ，ｊ误的ｘ 。算法１的第ｌ￣４行为ＬＳＡ的第一层生成输入 数据。算法第５、６行是初始化操作。第７行使用带有 错误的数据（即文 ）作为输入进行第一层网络的预训 练。重构损失定义为中的交叉熵，如下： ＝Ｘ 。Ｗ，ｊ、 ｗ 分别是编码和解码的权重，ｂ。、ｂ 分别是编码 和解码的偏置。 Ｌ（Ｘ，ｚ）：∑ｘｌｏｇ（ｘ）＋（１－ｘ）ｌｏｇ（１一ｚ） （５） 重构损失的最小化使用了随机梯度下降算法。算法 第８行使用Ｘ 生成第二层的输入ｘ 。第９～１２行是 在训练ＧＳＡ和ＬＳＡ的时候使用ｔｉｅｄ ｗｅｉｇｈｔ［ ，即 解码函数中的权值矩阵是编码函数中权值矩阵的转 置。Ｗ，和ｂ 初始化为零矩阵０。ＬＳＡ深度神经网络 ｊ从第２层到第 层的预训练过程。在对第 层进行预 训练后，可以获得第 １层的输入Ｘ Ｘ ＋ 的训练算法如算法１所示，它包括了预训练和微调两 ．（即 个阶段。该算法中，网格（ｍ，胛）及其邻居在ｔ时刻产生 的流量数据组成数据片ｐａｔｃｈ（ｄ￣ ，）。又 是指带有错 ＝ （ｘ。））。在对网络的所有层进行预训练后， 展开ＧＳＡ和ＬＳＡ以进行微调（如算法第ｌ３行所示）。 第３期 李莉贞：基于深度学习的无线网络数据时空建模和预测研究 ·８１· 算法１空间模型训练算法 输入：数据集Ｄ、己训练的ＧＳＡ网络、ｂｇ 、ｂ 输出：ｗｆ、，ｂ ｂ；， １：Ｘ＾＜．－－－ｅｍｐ￣； ２：Ｆｏｒ ｅａｃｈｔｄｏ ３：Ｘ＾ Ｘ＾ｕ ｐａｔｃｈ（ｄｉｎ ）； ４：Ｅｎｄ ｆｏｒ ５：ｂ ０； ６：ｗ ０； ７：ＴｒａｉｎＦｉｒｓｔＬａｙｅｒ０； ８：Ｘ ＝Ｐ （ｘ＾）； ９：Ｆｏｒ ｅａｃｈｊ ｉｎｄｄｏ １０：ＰｒｅＴｒａｉｎ（ｊ）； １１：ｘ０＋。＝Ｐ （ｘ０）； １２：Ｅｎｄ ｆｏｒ １３：Ｕｎｒｏｌｌ（）； 如上所述，递归神经网络（ＲＮＮ）被用于时间建 模和预测，它将从混合空间模型中得到的编码表示作 为输入。但是，标准的ＲＮＮ并不适用于对长期性的依 赖关系进行建模。ＬＳＭＮ可以捕获长期的时间依赖 性，它允许模型学习如何忘记隐藏状态以及如何更新 ６ ７ ８ ９ ０ ＼ 、 ＼ ＼ 、 当前状态。ＬＳＭＮ的结构如图１所示。 ⑦ ｌｉｔ ｏｔ Ｌ＿－＜ Ｃｔ－１ ｈ ，＝＼ 图１ ＬＳＭＮ单元结构 ＬＳＭＮ由一个记忆单元ｃ 、一个输入模块ｇ，、 个输出模块ｈ 以及三个逻辑门（分别是输入门ｉ 、 出门Ｏ，、遗忘门 ）。其中， ｉ ＝ （ＷｘｉＸ，＋ｗ ｆｈ ＋ｂｆ） Ｃ＝ （、７ｌ ｘ，＋ｗｙｈ，一１＋ｂ，） Ｏ ＝ （Ｗｘ。Ｘ，＋Ｗ 。ｈｆ＿ｌ＋ｂ。） ｇｆ＝ （Ｗｘｃｘｆ＋ｗ 。ｈｆ＿ｌ＋ｂ。） ｃ，＝ｅ ｏ Ｃ ０ｉ，ｏ ｇ， ｈ ＝Ｏ ｏ （ｃ ） （１１） ｔ‘ （ ）是双曲正切函数。符号。和０分别表示点乘和向 量求和。记忆单元结合以前的网格状态、当前输入和以 前输出来更新隐藏状态。遗忘门决定信息是否应该被遗 忘或被记住。输出门学习记忆单元如何影响隐藏状态。 为了预测网格（ ， ）的未来值 ＋，，先前 个时间间 隙的数据片会被作为输入，然后被ＧＳＡ和ＬＳＡ编码。 对于每个时刻ｆ ｔ ， 和ｐａｔｃｈ（ｄ￣ ，）的值将被连接 为一个向量。这样一来，我们获得了矢量的时间序列， ＬＳＭＮ模块处理该序列并预测 “ｌ。 ３性能评估 基于深度学习模型与基于时间序列分析模型【６】均 被实现在Ｋｅｒａｓ函数库中，以对两种算法在平均平方误 差、平均绝对误差和交叉熵三方面进行评估。选择以 目标网格为中心的１１×ｌ１个网格作为邻居网格。随机 选择了１５个网格进行测试，对于每个网络ｆ ． １，数 据被分为训练集和测试集。 首先，展示基于深度学习模型预测性能的实验结 果。如图２所示。图２（ａ）是上行链路的预测值与实 际值，图２（ａ）是下行链路的结果。由图２可知，预 测值与实际值的趋势较为一致。表ｌ显示了基于深度 学习模型和基于时间序列模型下行／上行链路的平均平 方误差、平均绝对误差和交叉熵的比较。由表１可 知，基于深度学习的模型在所有指标上都优于基于时 间序列模型。实验结果很好地说明了深度学习模型应 用于无线网络数据分析的有效性。 ·８２· 撬测值一—－实际值 萍乡学院学报 豌渊篷…蜜 值 ２０１８年 一一ｌ ０．９ ０．８ ０ ７ ０ ９ ０—８ ０。７ 孰 ０．４ ０６ ．。５盛ＯＩ４ ０＿３ 謦Ｏ．３ ０ ２ ０．１ ０．２ ０．１ ０ Ｏ ０ ｌＯ ２０ ３０ ４０ ５０ ６０ ７０ ８０ ９０ １００１ｌ０１２０１３０１４０１５０ ０ １０ ２０ ３０ ４０ ５０ ６０ ７０ ８０ ９０ １００ｌ１０ｌ２０１３０１４０ｌ５０ 嘲嘲（小时） 刚闽（小Ｈ ） （ａ）上行链路流量 （ｂ）下行链路流量 图２流量的预测值与真实值对比 表ｌ平均平方误差、平均绝对误差和交叉熵的结果对比 嘲 ４结论 本文首先对一个真实数据集进行了分析，揭示了 数据的时间和空间相关性。然后提出了一种基于深度 学习的混合时空预测模型，包括一个新的基于白编码 的空间建模模型和基于长短期记忆网络的时间模型。 ｗｉｓｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋｓ［Ｃ］．Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ．２００７：１ ５３～１ ６０． Ｙｕ Ｊ，Ｈｏｎｇ Ｃ，Ｒｕｉ ｅｔ ａ１．Ｍｕｌｔｉｔａｓｋ ａｕｔｏｅｎｃｏｄｅｒ ｍｏ ｄｅｌ ｆｏｒ ｒｅｃｏｖｅｒｉｎｇ ｈｕｍａｎ ｐｏｓｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏ ｎ Ｉｎｄｕｓｔｒｉａ１ Ｅｌｅｃｔｒｏｎｉｃｓ，２０ １ ８，６５（６）：５０６０－５０６８． Ｘｉｎｇ Ｃ，Ｍａ Ｌ，Ｙａｎｇ Ｘ．Ｓｔａｃｋｅｄ ｄｅｎｏｉｓｅ ａｕｔｏｅｎｃｏｄｅｒ 其次提出了一种新的空间模型训练算法。实验结果表 明，与现有的方法相比，本文的深度模型显著提高了 预测精度。 参考文献 ｌ Ｐ Ｊ，Ｄａｖｉｓ Ｒ Ａ．Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｉｍｅ ｓｅｒｉｅｓ ［１］ Ｂｒｏｃｋｗｅｌｂａｓｅｄ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｉｃａｔｆｉｏｎ ｆｏｒ ｈｙｐｅｒｓｐｅｃ ｔｒａｌ ｉｍａｇｅｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｓｅｎｓｏｒｓ，２０１６，２０１６． Ｋａｓｕｎ Ｌ Ｌ Ｃ，Ｙａｎｇ Ｈｕａｎｇ Ｇ Ｂ，ｅｔ ａ１．Ｄｉｍｅｎｓｉｏｎ ｒｅｄｕｃｔｉｏｎ ｗｉｔｈ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１６，２５（８）：３９０６～３９１８． Ｈｙｎｄｍａｎ Ｒ Ｊ．Ａｔｈａｎａｓｏｐｏｕｌｏｓ Ｇ Ｆｏｒｅｃａｓｔｉｎｇ：ｐｒｉｎｃｉｐｌｅ Ｓ ａｎｄ ｐｒａｃｔｉｃｅ［Ｍ］．ＯＴｅｘｔｓ，２０１４． ａｎｄ ｆｏｒｅｃａｓｔｉｎｇ［Ｍ］．ｓｐｒｉｎｇｅｒ，２０１６． Ｂｅｎｇｉｏ Ｌａｍｂｌｉｎ Ｐ，Ｐｏｐｏｖｉｃｉ Ｄ，ｅｔ ａ１．Ｇｒｅｅｄｙ ｌａｙｅｒ— ［责任编校：范延琛］ ｏｆ Ｗｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋ Ｄａｔａ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｓｐａｔｉｏ—ｔｅｍｐｏｒａｌ Ｍｏｄｅｌｉｎｇ ａｎｄ Ｐｒｅｄｉｃｔｉｏｎ ＬＩ Ｌｉ．ｚｈｅｎ （Ｄｅｐａｒｔｍｅｎｔ ｏｆＩｎｆｏｎｎａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｙａｎｇｑｕａｎ Ｔｅａｃｈｅｒｓ Ｃｏｌｌｅｇｅ，Ｙａｎｇｑｕａｎ Ｓｈａｎｘｉ ０４５０００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｉｒｓｔｌｙ，ｔｈｅ ｐｒｅｌｉｍｉｎａｒｙ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋ ｄａｔａ（ｍａｉｎｌｙ ｔｈｅ ｄａｔａ ｏｆ ｔｈｅ ｃｅｌｌｕｌａｒ ｍｏｂｉｌｅ ｎｅｔｗｏｒｋ１ ｏｂｔａｉｎｅｄ ｂｙ ｔｈｅ Ｉｎｔｅｍｅｔ ｓｅｒｖｉｃｅ ｐｒｏｖｉｄｅｒ ｒｅｖｅａｌｓ ｔｈｅ ｔｅｍｐｏｒａｌ ａｎｄ ｓｐａｔｉａｌ ｃｏｒｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｔｈｅ ｄａｔａ ｏｆ ｔｈｅ ａｄ ａｃｅｎｔ ｂａｓｅ ｓｔａｔｉｏｎｓ．Ｔｈｅｎ ａ ｈｙｂｒｉｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅ１ ｏｆ ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ ｉＳ ｅｓｔａｂｌｉｓｈｅｄ ａｎｄ ａ ｎｅｗ ｓｐａｔｉａｌ ｍｏｄｅｌ ｔｒａｉｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ．Ｆｉｎａｌｌｙ，ｅｘｐｅｒｉｍｅｎｔｓ ａｒｅ ｐｅｒｆｏｒｍｅｄ ｕｓｉｎｇ ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋ ｄａｔａ ｓｅｔｓ ｔｏ ｅｖａｌｕａｔｅ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ｍｏｄｅ１．Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｄｅｐｔｈ ｍｏｄｅ１ ｓｉｇｎｉｆｉｃａｎｔｌｙ ｉｍｐｒｏｖｅｓ ｔｈｅ ｐｒｅｄｉｃｔｉｏｎ ａｃｃｕｒａｃｙ． Ｋｅｙ ｗｏｒｄｓ：ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｗｉｒｅｌｅｓｓ ｎｅｔｗｏｒｋ：ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｍｏｄｅｌ；ｐｒｅｄｉｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ
