第３３卷第５期 北京信息科技大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ Ｕｎｉｖｅｒｓｉｔｙ Ｖｏ１．３３ Ｎｏ．５ ０ｃｔ．２０１８ ２０１８年１０月 文章编号：１６７４—６８６４（２０１８）０５—００６５—０６ ＤＯＩ：１０．１６５０８／ｊ．ｃｎｋｉ．１１—５８６６／ｎ．２０１８．０５．０１３ 基于Ｈａｄｏｏｐ的大数据用户行为分析系统 于淑云 ，林姝敏 （１．福建船政交通职业学院，福州３５０００７；２．福建农林大学，福州３５０００２） 摘 要：通过对大量相关用户行为分析资料进行分析总结，对用户行为日志产生和使用 过程进行了详细分析。通过构建Ｈａｄｏｏｐ平台，使用ＨＤＦＳ分布式文件系统对海量日志进行存储， 结合Ｂ／Ｓ架构和Ｊａｖａ技术，同时引入ＭａｐＲｅｄｕｃｅ计算模式，完成了基于Ｈａｄｏｏｐ的用户行为数据 分析系统设计。按照功能模块设计了系统的测试用例，并测试了其实现情况。测试结果表明，所 设计的基于Ｈａｄｏｏｐ的用户行为数据分析系统完成了用户行为分析功能，而且具有良好的可靠性。 关键词：Ｈａｄｏｏｐ；用户行为；数据分析；数据展示 文献标志码：Ａ 中图分类号：ＴＰ ３１１ Ｒｅｓｅａｒｃｈ ａｎｄ ｄｅｓｉｇｎ ｏｆ ｕｓｅｒ ｂｅｈａｖｉｏｒ ｄａｔａ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ＹＵ Ｓｈｕｙｕｎ ，ＬＩＮ Ｓｈｕｍｉｎ （１．Ｆｕｊｉａｎ Ｃｈｕａｎｚｈｅｎｇ Ｃｏｍｎｍｎｉｃａｔｉｏｎｓ Ｃｏｌｌｅｇｅ，ＦｕＺｈｏｕ ３５０００７，Ｃｈｉｎａ；２．Ｆｕｊｉａｎ Ａ ｃｕｌｔｕｒｅ ａｎｄ Ｆｏｒｅｓｔｒｙ Ｕｎｉｖｅｒｓｉｔｙ， ＦｕＺｈｏｕ ３５０００２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｒｏｕｇｈ ｓｔｕｄｙｉｎｇ ｕｓｅｒ ｂｅｈａｖｉｏｒ ｂａｓｅｄ ｏｎ ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ｒｅｌａｔｅｄ ｄａｔａ，ｔｈｅ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｕｓｉｎｇ ｐｒｏｃｅｓｓ ｏｆ ｔｈｅ ｕｓｅｒ ｂｅｈａｖｉｏｒ ｌｏｇ ｉｓ ａｎａｌｙｚｅｄ．Ｂｙ ｂｕｉｌｄｉｎｇ ｔｈｅ Ｈａｄｏｏｐ ｐｌａｔｆｏｒｍ ａｎｄ ｕｓｉｎｇ ｔｈｅ ｔｔａｄｏｏｐ ｄｉｓｔｒｉｂｕｔｅｄ ｆｉｌｅ ｓｙｓｔｅｍ ｔｏ ｓｔｏｒｅ ｍａｓｓｉｖｅ｜ｏｇｓ，ｃｏｍｂｉｎｉｎｇ ｗｉｔｈ Ｂ／Ｓ ａｒｃｈｉｔｅｃｔｕｒｅ ａｎｄ ｌａｖａ ｔｅｃｈｎｏｌｏｇｙ，ａｎｄ ｉｎｔｒｏｄｕｃｉｎｇ ｇｒａｐｈｓ ｃａｌｃｕｌａｔｉｏｎ ｍｏｄｅ，ｔｈｅ ｄｅｓｉｇｎ ｏｆ ｔｈｅ ｕｓｅｒ ｂｅｈａｖｉｏｒ ｄａｔａ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ ｉｓ ｃｏｍｐｌｅｔｅｄ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ．Ａ ｔｅｓｔ ｃａｓｅ ｉｓ ｄｅｓｉｇｎｅｄ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｆｕｎｃｔｉｏｎ ｍｏｄｕｌｅ ａｎｄ ｉｔｓ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｉｓ ｔｅｓｔｅｄ．Ｔｈｅ ｔｅｓｔ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｄｅｓｉｇｎｅｄ ｕｓｅｒ ｂｅｈａｖｉｏｒ ｄａｔａ ａｎａｌｙｓｉｓ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ｈａｓ ｉｍｐｌｅｍｅｎｔｅｄ ｔｈｅ ｒｅｑｕｉｒｅｄ ｆｕｎｃｔｉｏｎｓ ｉｎ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎａｌｙｓｉｓ，ａｎｄ ｈａｓ ｇｏｏｄ ｖａｌｉｄｉｔｙ ａｎｄ ｒｅｌｉａｂｉｌｉｔｙ． Ｋｅｙｗｏｒｄｓ：Ｈａｄｏｏｐ；ｕｓｅｒ ｂｅｈａｖｉｏｒ；ｄａｔａ ａｎａｌｙｓｉｓ；ｄａｔａ ｓｈｏｗ ０ 引言 中国互联网络信息中心近期发布的《第３７次 中国互联网络发展状况统计报告》表明，截至到 辅助系统管理者对用户的检索意图、点击事件以及 对检索结果的反馈进行全面的了解，能够为系统的 检索应用改进提供建议，进而使用户能够更加高效 地通过搜索引擎获取互联息。不仅能够提升企 业的竞争力，最主要的是能够提升用户体验，增加用 户粘性 。 ２０１７年１２月，国内使用搜索引擎的用户数量已达 ８．３５亿，仅次于即时通信的用户规模。搜索引擎作 为大多数互联网应用的入口，与人们的生活越来越 贴近。对于谷歌、百度这种市场占有率较大的搜索 类公司，每天产生的用户行为日志数以亿计 。 本文实现了基于Ｈａｄｏｏｐ平台的用户行为数据 分析系统的设计。使用Ｈａｄｏｏｐ框架 分布式计算 和存储技术处理海量用户行为数据，能够有效解决 传统并行计算在海量数据处理过程中存在的弊端。 通过对搜索引擎的用户日志的细致分析，能够 收稿日期：２０１８－０５—１９ 基金项目：福建省教育厅自然科学基金项目（ＪＡ１５６６１） 作者简介：于淑云，女，讲师。 北京信息科技大学学报 第３３巷 因此，构建基于Ｈａｄｏｏｐ平台的用户行为数据分析系 统是十分有必要的。 目前，用户通过搜索引擎获取自身需要的信息， 在搜索引擎的服务器中会产生相应的日志，该日志 记录了整个｝丰Ｊ户查询行为的相关信息。通过分析用 户行为日志，对搜索引擎的服务和性能进行优化和 改进，能够使企业为用户提供更加个性化的搜索服 务，能够有针对性地向用户推送准确的检索信 息 。，提升用户体验 郝增勇 采用了基于Ｈａｄｏｏｐ 的用户行为分析方法，首先利用高速捕包¨ｒ具 一 ＲＩＮＧ抓取网络入口的数据作为』十ｊ户行为分析的数 据源，并将其分布式存储，然后调用网络安全开发包 ］＿具Ｌｉｂｎｉｄｓ对数据包进行重组，实现ＴＣＰ／ＩＰ的重 组，实现应用层Ｈ Ｐ还原，然后调用Ｈａｄｏｏｐ集群， 利蚪ｊ分布式Ｍａｐｒｅｄｕｃｅ编程来分析出用户应用层的 网络行为活动，实现从物理层到应用层的全层分析。 千电轻 借助Ｈａｄｏｏｐ技术设计和研发自动的数据 可视化 具，将数据仓库之中产生的数据，自动映射 至Ｅｌａｓｔｉｃｓｅａｒｃｈ的文件系统，同时，在Ｋｉｂａｎａ系统里 生成默认的 表，解决常规数据可视化方案操作繁 琐的问题。 本文通过对大量相关的用户行为分析资料进行 分析总结，通过构建Ｈａｄｏｏｐ平台，搭建ＨＤＦＳ分布 式文件系统对海量日志进行存储，同时引入 ＭａｐＲｅｄｕｃｅ计算模式，完成了基于Ｈａｄｏｏｐ的用户行 为数据分析系统的设计 。 １ 用户行为分析系统架构设计 １．１ 系统网络架构设计 本文设计的基于Ｈａｄｏｏｐ的用户行为分析系统 旨在通过分布式计算平台让海量的用户数据分析过 程可行，同时具备高效率 】。图ｌ捕述了用户行为 分析系统的架构。 １）Ｈａｄｏｏｐ集群层。Ｈａｄｏｏｐ集群层作为整个系 统架构的核心和根基，其主要负责向用户行为分析 系统提供可靠的软硬件平台和分布式云计算服务。 Ｈａｄｏｏｐ集群主要由若干个单独的计算机设备搭建 而成。其中，只有ｌ台计算机节点作为整个集群的 Ｍａｓｔｅｒ，剩余其它的计算设备作为Ｓｌａｖｅｒ。 ２）ＨＤＦＳ存储层。ＨＤＦＳ存储层可以借助分布 式存储技术为用户行为分析系统提供可靠的数据存 储服务，主要南１个ＮａｍｅＮｏｄｅ节点和多个 ＤａｔａＮｏｄｅ组合而成。同时，ＨＤＦＳ存储层还可以提 供与ＭａｐＲｅｄｕｃｅ计算层问的文件读取和写入的接 ｌ 褴体系统架构 口，为数据计算分析提供渠道。 ３）ＭａｐＲｅｄｕｃｅ计算层。ＭａｐＲｅｃｌｕｃｅ计算层将对 采集到的用户行为日志进行分类计算。首先收集南 存储层传递而来的分类数据；然后将计算任务细化， 分配给不同的计算节点完成；再对计算结果进行 总，最终形成计算结果集。除ｒ最基本的并行计算 能力之外，ＭａｐＲｅｄｕｃｅ计算模型还提供了相应的容 错机制和负载均衡机制，提升系统的整体运算性能。 ４）业务逻辑层。业务逻辑层主要负责用户行 为日志的采集、数据的预处理、用户行为模式的挖掘 以及系统优化等方面的工作。 ５）用户接口层。用户接口层是系统与用户进 行信息交瓦的主要通道。该层将为用户提供一个可 视化的操作和信息展示界面，通过此界面，用户行为 分析员和系统管理员能够直接与系统进行交互，通 过提交相应的请求，返同完整的数据结果。 １．２ 系统逻辑架构设计 本文设计的基于Ｈａｄｏｏｐ的用户行为数据分析 系统的软件层次结构采川ＭＶＣ架构，即分别由模型 （ｍｏｄｅ１）、视图（ｖｉｅｗ）以及控制器（ｃｏｎｔｒｏｌｌｅｒ）组成。 ＭＶＣ作为一种应用较为广泛的软件设计典范，能够 实现软件业务逻辑、数据以及显示界面的分离，其完 善的组织代码能力，能将软件内部所有业务逻辑集 中到各个单独的部件中，在进行用户交互功能设计 和界面设置时，无需对逻辑模型层面的部件进行修 改调整。本文设计的用户行为分析系统，涉及到频 第５期 于淑云等：基于Ｈａｄｏｏｐ的大数据用户行为分析系统 ６７ 繁的界面操作和数据交互过程，非常适合采用ＭＶＣ 框架模式，能够强制性的将软件系统的输人、处理和 输出完全分开。视图类负责用户界面的显示，控制 器根据用户交互的情况向模型类请求数据。模型类 完成了数据库的相关操作。 基于Ｈａｄｏｏｐ的用户行为数据分析系统从逻辑 架构上可以分为４个层次，分别包括应用层、业务服 务层、业务逻辑层以及数据资源层。应用层主要包 含用户能够具体请求和使用的实际功能，在本系统 中指对用户行为信息的内容管理、功能管理以及交 互管理。业务服务层主要包含不同的应用层功能提 供的相应的技术支持和服务，即ＭＶＣ框架中控制层 所完成的功能，包括身份认证、参数管理以及控制管 理功能。业务逻辑层主要负责协调数据与各功能层 间的关系，包括功能逻辑、处理逻辑以及数据操作。 数据资源层负责数据库层面的数据处理，包括数据 缓存服务、消息队列服务以及结构化和非结构化数 据库的管理。 ２用户行为采集方法设计 目前典型的用户行为Ｅｌ志采集系统通常包括３ 个基本元素，分别为Ａｇｅｎｔ（其职责是封装数据源， 完成封装后将数据源中数据传输给Ｃｏｌｌｅｃｔｏｒ）， Ｃｏｌｌｅｃｔｏｒ（能够接收来自不同Ａｇｅｎｔ的数据，对数据 进行分类处理后传输到Ｓｔｏｒｅ中），Ｓｔｏｒｅ（作为整个 采集系统的存储系统，具备扩展性和可靠性，同 时能够支持本文采用的ＨＤＦＳ框架）。本文考虑使 用Ｈａｄｏｏｐ平台的Ｃｈｕｋｗａ工具完成用户行为Ｅｔ志 数据采集过程，同时配合Ｊａｖａ技术，进行用户行为 数据的提取。具体过程如图２所示。 、—— ，一 ＳＤａｔａ Ａｐｐｌｌｐ２１Ａｐ。ｏｌ Ｍｅｔｒｉｃｓ Ｏ ｈｏｓｔ Ｏｎｅ ｐｅｒ１Ｏ０ａｇｅｎｔｓ ｉ～］、——／，一 图２用户行为采集系统结构 图２所示数据采集处理的过程如下： 在搭建的Ｈａｄｏｏｐ平台上，部署Ｃｈｕｋｗａ系统。 由Ａｇｅｎｔ采集集群中节点的数据，每一类数据由 Ａｄａｐｔｏｒ实现，在Ａｇｅｎｔ中配置所需采集数据的数据 源。Ａｇｅｎｔ采集的数据，由Ｃｏｌｌｅｃｔｏｒ收集处理，并将 结果存储在集群上。Ｈａｄｏｏｐ通过ｍａｐ／ｒｅｄｕｃｅ机制 实现数据处理，可以通过Ｃｈｕｋｗａ提供的Ｄｅｍｕｘ和 Ａｃｈｉｅｖｉｎｇ对数据进行分类、排序和去重等操作。 在本系统中，Ｃｈｕｋｗａ采集处理数据过程如下： １）Ａｄａｐｔｏｒ获取数据源。Ａｄａｐｔｏｒ能对其他数据 源进行封装，同时兼容Ｆｉｌｅ，Ｕｎｉｘ等命令行工具。本 系统中数据源主要是指Ｈａｄｏｏｐ日志、应用程序的应 用数据以及系统参数等。 ２）Ｃｈｕｋｗａ与ＨＤＦＳ存储系统交互。Ｃｈｕｋｗａ提 供了与ＨＤＦＳ作为存储系统的交互接口。ＨＤＦＳ作 为本文用户行为数据存储模块的主要平台，日志采 集完成后，Ｃｈｕｋｗａ与ＨＤＦＳ系统进行对接，然后进 行数据的分布式存储和计算。 ３）Ａｇｅｎｔ数据源配置和Ｃｏｌｌｅｃｔｏｒ数据收集。为 了实现Ｃｈｕｋｗａ系统对ＨＤＦＳ存储系统的控制调节， 在用户行为日志采集的过程中增加了Ａｇｅｎｔ数据源 配置和Ｃｏｌｌｅｃｔｏｒ数据收集环节。 Ａｇｅｎｔ元素主要负责为Ａｄａｐｔｏｒ提供各种相应 的控制服务。主要包括：Ａｄａｐｔｏｒ的启动与关闭，将 数据通过Ｈ１ＴｒＰ协议传输到Ｃｏｌｌｅｃｔｏｒ处；同时定期 记录Ａｄａｐｔｏｒ的运行状态，以便发生崩溃后及时 恢复。 Ｃｏｌｌｅｃｔｏｒ的主要作用是完成多个数据源数据的 合并操作，然后将汇集完成的数据加载到ＨＤＦＳ分 布式存储系统中；同时隐藏ＨＤＦＳ实现的过程细节。 而且需要说明的是ＨＤＦＳ版本更换后，仅需要对 Ｃｏｌｌｅｃｔｏｒ进行修改即可。 ４）Ｄｅｍｕｘ和Ａｃｈｉｅｖｉｎｇ。Ｄｅｍｕｘ和Ａｃｈｉｅｖｉｎｇ主 要与ＭａｐＲｅｄｕｃｅ处理数据进行交互通信。Ｃｈｕｋｗａ 内部设置了２个ＭａｐＲｅｄｕｃｅ作业，能够支持数据和 数据结构化日志的转换，然后存储到ＨＤＦＳ分布式 存储系统和ＭｙＳＱＬ数据库中。日志采集格式及实 例如表１所示。 表１ 日志采集格式及实例 ３用户行为存储方法设计 针对系统分布式存储需求，数据存储过程设计 ６８ 北京信息科技大学学报 第３３卷 可以分为两部分：１）对用户行为日志采集模块获取 的数据进行结构化存储；２）为本系统业务数据库 ＭｙＳＱＬ中的相关数据做相应的映射存储。基于系 统的主要功能需求，本文采用的分布式数据存储系 统选用ＨＤＦＳ。用户行为１３志存储结构如图３ 所示。 图３用户行为Ｅｌ志存储结构 用户行为日志的更新和删除均属于对日志的替 换操作，相同用户在一段时间内的检索目标和关键 词不大相同，系统仅仅保留用户最新一个月内的行 为日志情况，用户行为分析员可以手动对用户的行 为日志进行更新和删除，也可以通过系统设置为定 时删除。 ４用户行为分析方法设计 通过分析用户行为Ｅｔ志能够获取用户搜索关键 字排名、用户点击链接排名、用户搜索行为记录等信 息，而且可以根据时间分段进行显示。由于 ＭａｐＲｅｄｕｃｅ计算模型的高效率特性，本文采用 ＭａｐＲｅｄｕｃｅ计算模型对用户行为特征进行分析。下 文将按照用户行为分析模块的子功能对其进行分析 说明，主要从用户搜索关键字排名、用户点击链接排 名以及关键字分析展开。 １）用户搜索关键字排行。用户搜索关键字排 行主要参考的是关键词的检索数量，数量越大，排名 越靠前，反映了用户的需求方向和此类信息的热门 程度。在面对海量数据源时，典型的非并行式计算 方法效率较低，而ＭａｐＲｅｄｕｃｅ采用分布式技术使得 海量数据的计算和储存变为可能。 在本模块中，ＭａｐＲｅｄｕｃｅ计算基本模式是：定义 ＜Ｋｅｙ，Ｖａｌｕｅ＞格式，根据键值对信息进行分类和排 序，最后统计和分析具备同样Ｋｅｙ的Ｖａｌｕｅｓ列表数 据。用户搜索关键字排行的获取的流程是：在Ｍａｐ 阶段，键值对＜Ｋｅｙｗｏｒｄ，Ｖａｌｕｅ＞被传输到系统内 部；在Ｒｅｄｕｃｅ阶段中，将具备同样的Ｋｅｙｗｏｒｄ的 Ｖａｌｕｅ值进行累加，然后就能够获取对应该关键字 （Ｋｅｙｗｏｒｄ）的累计查询数量结果。基于ＭａｐＲｅｄｕｃｅ 的用户搜索关键字排序分析的具体流程如下。 Ｓｔｅｐｌ：输入１３志文件，然后将该日志文件通过 ＦｉｌｅｉｎｐｕｔＦｏｒｍａｔ类将其划分为不同的Ｍａｐ任务，并 将其布置到不同的节点中，同时通过Ｓｐｉｌｔ工具类分 割原始的用户行为日志数据文件，分割后的数据块 被传输到系统设计的Ｍａｐ函数中完成相应的逻辑 处理，最后输出Ｍａｐ中的Ｋｅｙ对应的关键字Ｖａｌｕｅ 值，此时Ｖａｌｕｅ值表示此Ｋｅｙ（关键字）对应的Ｌｉｓｔ； Ｓｔｅｐ２：随后进入Ｃｏｍｂｉｎｅ计算阶段，对本计算 节点的数据块进行Ｒｅｄｕｃｅ，减少计算和输出的 规模； Ｓｔｅｐ３：完成数据输出后系统进入Ｓｈｕｆｌｆｅ阶段； Ｓｔｅｐ４：实现Ｋｅｙ值的默认排序； Ｓｔｅｐ５：Ｒｅｄｕｃｅ接收来自多个Ｍａｐ的数据，定义 Ｓｅｑｕｅｎｃｅ类型的输出文件，进行关键字数量的统计， 并输出； Ｓｔｅｐ６：将Ｓｔｅｐ５输出的Ｓｅｑｕｅｎｃｅ类型数据传输 到第２个Ｍａｐ中； Ｓｔｅｐ７：完成Ｋｅｙ—Ｖａｌｕｅ转换，同时完成关键字的 倒序排列； Ｓｔｅｐ８：将最终关键词的倒叙排序结果输出。 ２）用户点击链接。用户点击链接的排名主要 根据用户提交的检索关键词，索引到相关页面后，按 照页面的相似性度量以及网页目前所占的比重进行 排名。这种排序是宏观的，只有用户点击链接接入 网页后，说明这个链接是用户所需要的。因此，本系 统具备计算用户点击链接排名的功能，以便掌握用 户的检索意图。用户点击链接分析过程与关键词排 序类似，只是提取Ｅｌ志中的分析对象不同，前者提取 的是关键字，后者提取的是用户点击的链接，与关键 字排行过程逻辑不同的是，链接的截取字符串无需 进行转换编码。 ３）用户关键词。通常情况下，在某一段时间内 用户检索的关键词或者点击频繁的链接往往与近期 的热门话题有一定的联系。本模块的用户关键词分 析是指本文将排名前十的关键词和用户点击链接中 的主题词语作为语料库，通过借助Ｗｏｒｄ２ｖｅｃ工具实 现对关键词的分析，为用户提供“热词”服务，用户 在使用时能够提供相应的提示，增强用户体验。 下面是通过Ｗｏｒｄ２ｖｅｃ工具实现用户关键词分 析的过程。首先，需要引入复杂度计算模型，其基本 第５期 于淑云等：基于Ｈａｄｏｏｐ的大数据用户行为分析系统 ６９ 定义为 ０＝Ｅ·Ｔ·Ｑ （１） 式中：Ｏ为模型复杂度；Ｅ为学习训练的次数（系统 可以设置）；Ｔ为学习训练语料中关键词的数量；不 同的模型对应不同的Ｑ，Ｑ在具体模型中定义。 Ｗｏｒｄ２ｖｅｃ功能类似于神经网络，能够实现词语 的学习训练。Ｗｏｒｄ２ｖｅｃ工具具备２种基本训练模 型，分别是ＣＢＯＷ模型和Ｓｋｉｐ—ｇｒａｍ模型，２种模型 类似于传统的神经网络模型，只是略去了隐含层。 ＣＢＯＷ模型的核心理念是上下文能够直接影响 到当前关键词出现的概率。在此模型中，所有上下 文的关键词对目前关键词出现的概率的影响程度是 相同的，类似于从袋子中取关键词。在取词数量足 够多的情况下，取词的先后顺序是不重要的。 ＣＢＯＷ模型的结构示意图如图４所示。 输入层 发射层 输出层 图４ ＣＢＯＷ模型图 ＣＢＯＷ模型的训练复杂度可以表示为 Ｑ＝Ｎ·Ｄ＋Ｄ·ｌ Ｖｆ （２） 式中：Ｑ为ＣＢＯＷ模型复杂度；Ｎ为输入层窗口总 体长度；Ｄ为发射层整体维度；ｆ ｌ为学习训练语 料词典的规模。学习训练的复杂度可以通过矩阵的 形式进行表示和计算，而且计算量是Ｄ·Ｉ ｛。 Ｓｋｉｐ—ｇｒａｍ模型比ＣＢＯＷ模型简单，但是适用性 很强。在元模型中，由于窗口大小存在一定程度的 ，模型往往无法反映在窗口范围之外的词语对 当前关键词的影响程度。如果单纯进行窗口扩展， 必然会增加计算和学习训练的成本和复杂度，而 Ｓｋｉｐ—ｇｒａｍ模型能够很好地解决以上问题。图５为 Ｓｋｉｐ—ｇｒａｍ模型的示意图。 输入层 发射层 输出层 ｔ－ ／２１ 卜”／２＋１） 硝￣－－Ｈ／２—１） （￣－ｔ－”／２） 图５ Ｓｋｉｐ—ｇｒａｍ模型示意图 判断Ｓｋｉｐ—ｇｒａｍ模型是否完成训练的标准是式 （３）的值是否是最大：一一 专∑∑ｌ１ 。ｇ （ ｆ Ｗｔ） （３） ￡ １≤ ≤ 式中：Ｃ为窗口的规模，在Ｓｋｉｐ—ｇｒａｍ模型中即意味 着ｎ—Ｓｋｉｐ—ｇｒａｍ中的ｎ值的大小；ｔ和 为某单词 出现次数；Ｔ为学习训练文本规模。Ｓｋｉｐ—ｇｒａｍ模型 的计算复杂度可以表示为（）＝ｃ·（Ｄ＋Ｄ·｛ １）。与 ＣＢＯＷ模型相比，该模型的计算复杂度更高。 ５测试及分析 ５．１测试环境搭建 测试环境搭建主要包含３个部分：本地环境配 置、ＳＳＨ无密码互联配置以及Ｈａｄｏｏｐ配置。 １）本地环境的配置。本地环境的配置首先需 要在服务器环境下配置主机ＩＰ地址和机器名（允许 ｇｏｄｚｉｌｌａ用户登录，进入ｖｉ／ｅｔｅ／ｓｙｓｃｏｎｆｉｇ／ｎｅｔｗｏｒｋ路 径对配置文件进行设置，包括ＩＰ地址和机器名），同 时配置Ｈｏｓｔ的映射文件（以ｇｏｄｚｉｌｌａ身份对ｅｔｃ／ ｈｏｓｔｓ映射文件进行编辑，同时映射ＩＰ地址与机器 名）。完成本地环境配置后，重启服务器，验证配置 是否生效。 ２）ＳＳＨ无密码互联环境的配置。在启动 Ｈａｄｏｏｐ服务以后，名称节点ＮａｍｅＮｏｄｅ通过ＳＳＨ对 各个数据节点ＮａｍｅＮｏｄｅ的进程进行启动和停止的 控制。要实现无密码登录，具体的配置过程如下： Ｓｔｅｐｌ：以ｇｏｄｚｉｌｌａ的身份执行指令ｖｉ／ｅｔｃ／ｓｓｈ／ ｓｓｈｄ—ｃｏｎｆｉｇ，然后打开ｓｓｈ—ｃｏｎｆｉｇ配置文件； Ｓｔｅｐ２：完成配置后重启相关服务； Ｓｔｅｐ３：以ｇｏｄｚｉｌｌａ用户的身份登录，对 ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ节点生成私钥和公钥； Ｓｔｅｐ４：用户进￣／ｈｏｍｅ／ｇｏｄｚｉｌｌａ／．ｓｓｈ目录，将 ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ节点重命名； Ｓｔｅｐ５：通过执行ｓｃｐ命令将５个从节点中的公 钥发送到ＫＶＭ一１５２—１３９节点的／ｈｏｍｅ／ｈａｄｏｏｐ／． ｓｓｈ目录中； Ｓｔｅｐ６：将所有ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ节点的公 钥信息添加到ａｕｔｈｏｒｉｚｅｄ—ｋｅｙ目录中； Ｓｔｅｐ７：将密码文件ａｕｔｈｏｒｉｚｅｄ—ｋｅｙ传送给其他５ 个从节点。 ３）Ｈａｄｏｏｐ的配置。Ｈａｄｏｏｐ集群分布式开发模 式配置主要包括以下基本的步骤。 Ｓｔｅｐｌ：对Ｊａｖａ环境变量和Ｈａｄｏｏｐ环境变量进 行配置； ７０ 北京信息科技大学学报 第３３卷 Ｓｔｅｐ２：到Ｈａｄｏｏｐ的安装目录下寻找ｃｏｎｆ目录， 对此目录下的ｃｏｒｅ—ｓｉｔｅ．ｘｍｌ、、ｍａｐｒｅｄ—ｓｉｔｅ．ｘｍｌ、ｈｄｆｓ－ ｓｉｔｅ．ｘｍｌ等配置文件的信息进行修改； Ｓｔｅｐ３：ｍａｓｔｅｒｓ文件，完成Ｓｅｃｏｎｄａｒｙ ＮａｍｅＮｏｄｅ 机器名的配置，同时将其单独部署到一台机器中； Ｓｔｅｐ４：ｓｌａｖｅｓ文件，完成从节点的机器列表指 定，每一行分布一台机器，分别为ＢＪＷＳ一１４９—７１、 ＢＪＷＳ一１４９—７２、ＢＪＷＳ一１４９—７３、ＢＪＷＳ一１４９—７４、 ＢＪＷＳ一１４９—７５。完成配置后，执行ｊｐｓ命令对主从 节点的运行情况进行查看； Ｓｔｅｐ５：完成Ｈａｄｏｏｐ到所有集群的分发任务； Ｓｔｅｐ６：重新启动Ｈａｄｏｏｐ。为每个集群中的节点 配置好Ｈａｄｏｏｐ环境之后，通过执行命令ｂｉｎ／ｈａｄｏｏｐ ｎａｍｅｎｏｄｅ、ｆｏｒｍａｔｅ，完成ｍａｓｔｅｒ主节点的ＨＤＦＳ初始 化操作，执行ｂｉｎ／ｓｔａｒｔ．ａｌ１．ｓｈ命令来启动整个ＨＤＦＳ 环境。 ５．２测试结果分析 根据系统的功能需求和设计情况，本文按照功 能模块设计了系统的测试用例，并统计了其实现情 况。用例主要包括描述、输入、输出以及用例数等选 项。测试用例的数量为１４个，每个测试用例的用例 数统一为２０个，用户行为分析系统测试结果如表２ 所示。另外，本文的日志样本来自于百度搜索实验 室，样本大小为１０ Ｇ。 其中完成率是通过对比样本日志数量以及存储 到系统中的行为记录数量进行对比得到的，样本库 中的用户行为特征的结果是一定的，本文设计的用 户行为分析系统中采集并存储的数据与样本数量 一致。 室 旦皇 坌堑墨笙型 堕墨 ——型壁 查 塞堕刍 用户行为采集 １００ 用户行为存储 １００ 再户行为分祆 １００ 坌堑坌墨垦至 旦 ６ 结束语 本文通过构建Ｈａｄｏｏｐ平台，搭建ＨＤＦＳ分布式 文件系统对海量日志进行存储，同时引入 ＭａｐＲｅｄｕｃｅ计算模式，完成了基于Ｈａｄｏｏｐ的用户行 为数据分析系统的设计。在系统的功能层面上，分 别对用户行为日志采集方法、用户行为日志存储方 法、用户行为分析方法进行设计。测试结果表明，本 文中所设计的基于Ｈａｄｏｏｐ的用户行为数据分析系 统能够完成用户行为分析功能。 参考文献： 『１］ 王兵．基于云计算技术的大数据用户行为引 擎设计［Ｊ］．电脑知识与技术：学术交流， ２０１６，１２（５）：１—２． ［２］ 高薇，王勐．基于大数据的用户行为分析研 究［Ｊ］．电子技术与软件工程，２０１６，１２（１４）： １９４一ｌ９５． ［３］ 袁红，朱睿琪．用户信息搜索行为大数据分 析框架及其关键技术［Ｊ］．图书馆学研究， ２０１６，３（２４）：３９—４６． ［４］ 任思颖．基于大数据的网络用户行为分析 ［Ｄ］．北京：北京邮电大学，２０１５． ［５］ 杨亦松，杨大利．基于Ｈａｄｏｏｐ的网络用户信 用度评估模型研究［Ｊ］．北京信息科技大学 学报，２０１７，３２（５）：７７—８３． ［６］ 谷红勋，杨珂．基于大数据的移动用户行为 分析系统与应用案例［Ｊ］．电信科学，２０１６， ３２（３）：１３９—１４６． ［７］ 郝增勇．基于Ｈａｄｏｏｐ用户行为分析系统设 计与实现［Ｄ］．北京：北京交通大学，２０１４． ［８］ 王电轻．基于ｈａｄｏｏｐ的网站用户行为分析系 统设计与实现［Ｄ］．北京：中国科学院大 学，２０１６． ［９］ 韦安明，何亚维，王晓茹．大数据视角下的互 联网视频用户行为［Ｊ］．广播与电视技术， ２０１６，４３（３）：４６—５４． ［１０］ 张滨．基于ＫＮＮ网络的大数据教育行为分 析研究［Ｊ］．时代教育，２０１７，３（５）：１１—１１． ［１１］Ｌｅｅ Ｍ Ｓ．Ａ ｓｔｕｄｙ ｏｎ ｔｈｅ ｅｔｈｉｃａｌ ｉｓｓｕｅｓ ａｎｄ ｓｈａｒｉｎｇ ｂｅｈａｖｉｏｒ ｏｆ ｕｓｅｒ’Ｓ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ｔｈｅ ｅｒａ ｏｆ ｂｉｇ ｄａｔａ［Ｊ］．ＲｅｓｅａｒｃｈＧａｔｅ，２０１６，２１ （１０）：４３—４８． ［１２］Ｃｈｉｈ—Ｌｉｎ Ｉ，Ｌｉｕ Ｙ，Ｈａｎ Ｓ，ｅｔ ａ１．Ｏｎ ｂｉｇ ｄａｔａ ａｎａｌｙｔｉｃｓ ｆｏｒ ｇｒｅｅｎｅｒ ａｎｄ ｓｏｆｔｅｒ ＲＡＮ『Ｊ］．ＩＥＥＥ Ａｃｃｅｓｓ，２０１６，３（９４）：３０６８—３０７５． ［１３］ 肖乃慎，李博，孔德诗．大数据背景下的电网 客户用电行为分析系统设计［Ｊ］．电子设计 工程，２０１６，２４（１７）：６１—６３．
