1. 用户需求分析
伴随着宽带接入业务的迅猛发展,市场竞争日益激烈,在技术优势和价格水平日趋同质化的今天,谁能够真正提高用户满意度,谁就能够脱颖而出,获得千千万万家庭用户的认同,用户的选择决定了我们的市场份额,用户的满意度决定了我们信息化的最终成果。
要想真正提高用户满意度,就要从最终用户的角度出发,对我们的宽带接入服务进行质量评测、性能监控和故障诊断,了解用户的真实使用情况。
目前的测试和监控手段不能解决问题吗?
传统的评测和监控手段在保障我们业务正常运行的过程当中发挥着重要的作用,但是从这些系统的出发点和部署方式来看,距离最终用户还有一定的距离:
部署的方式
首先这些系统主要部署在数据中心,无法直接反映用户的使用情况。 关注的角度
其次这些系统关注的角度不同,往往是从网络设备的角度、线路连通性的角度、应用性能的角度、服务器性能的角度,这些因素都是用户体验的重要组成部分,但不是全部。
如何从用户的角度对系统进行评估和测试?
我们要真正来到用户端,对决定用户体验的指标进行现场测试,常见的指标包括:认证接通率、网络性能、网络基础服务性能、页面打开时间、网络下载速度等,但是随着用户使用行为的不断变化,随着电信运营商为用户提供的增值服务的快速发展,这些评估指标也在不断的变化。
用户端测试的利与弊?
用户端的现场评测优势是显而易见的,因为它直接反映的用户的真实使用情况,反映了用户的满意度,但是由于用户基数大,必然带来巨大的工作量,不规范的测试方式和测试手段会带来管理上的麻烦。
如何确保用户端的质量测试是可行的、高效的?
福禄克网络公司认为要想真正实现主动的、贴近用户的服务质量测试就必须解决以下几个问题:
统一的测试手段
测试的指标有很多种,横跨网络层到应用层,市场上测试的工具也有很多,有专门测试网络性能指标的,有测试应用连通性的,有进行速度测试的等等,如果我们在选择测试工具的时候,仅仅着眼于某几个指标,最终会变成一个工具的大杂烩,需要测试什么指标就要另外购买什么工具,在学习成本、测试流程管理、现场实施简易度、测试结果汇总上都会带来很多的麻烦。
最终的结果是现场工程师需要携带的工具越来越多,需要熟悉的产品越来越多,需要汇总的数据越来越多,现场测试变得非常复杂,那么我们如何保证测试质量。
我们需要的是一个统一的测试平台,而不是各种测试工具的大杂烩。 标准化的测试流程
我们要形成一套标准化的测试流程,通过网络统一自动下发到现场工程师手中,现场工程师只需点一下按钮就得到所有的测试结果,工作不再麻烦,测试变得轻松,结果真实可信。
可扩展的测试方法
我们需要考虑到测试流程的可扩展性,工程师只需要集中添加测试流程,一次修改,集中下发
2. 福禄克NetAlly网络评估解决方案
福禄克NetAlly网络评估是真正的用户体验测试解决方案,真正帮助用户解决了测试需要和测试当中碰到的问题。
2-1系统部署
该解决方案包括两部分组件:TestCenter服务器和Traffic Agent客户端。 TestCenter组件安装在数据中心服务器,该组件负责所有测试流程的定制、管理和下发。
Traffic Agent客户端可以安装在现场工程师的笔记本电脑中,在用户现场将连接到用户网络,发起测试流程。
所有网络性能测试都通过TA到TA之间发起测试,可以包括:用户端到接入设备,城域接入路由器到城域核心路由器,省网接入路由器到省网核心路由器进行端到端的网络性能测试,测试流程由TC统一下发。
所有的用户端到服务器测试(连通性、页面打开、下载速度等)通过用户端的TA到服务器之间进行测试,测试流程由TC统一下发。
TC可以发起多个TA的同时测试,并且对测试结果,测试报表集中管理。
接下来对用户比较关注的几项测试内容做简单的介绍,帮助用户对未来实际使用的状况有直观的了解。 1.1. 用户认证接通率
测试要求为:用户连通网络,并且提供帐号和密码,每用户测试100次,测试时间为10:00 – 11:30和20:00 – 21:00,要求平均值大于98%,最低值为97%。
在TC上定义了测试流程user authen rate,在Traffic Agent里选择要测试的TA的地址Fairfax(用户端INA仪表的IP地址),在HTTP Server里定义了要访问的Web页面,在参数配置里定义了用户帐号。
在时间安排上选择了10:00开始测试。
每10秒钟测试1次,共测试100次,根据测试结果中成功的次数,得出用户认证连通率。 1.2. 丢包率
丢包率测试包括三个方面:接入网丢包率、城域网丢包率以及省网丢包率,在进行丢包率测试时,我们需要在城域网和省网分别部署INA仪表(集成TA),进行TA到TA之间的测试,要求分配给TA一个IP地址。
在TC建立了一个名为packet loss rate的测试流程,客户端是Fairfax,另外一端随意选择了
丢包率阀值设置为1%,可以定义包类型(ICMP,UDP等),包的大小,以及测试次数6个包。
测试通过,查看测试报告,丢包率为0.
测试时间和次数如上一个例子不再重复。 1.3. DNS测试
DNS测试包括DNS解析时间和DNS解析成功率,并规定了测试次数。
定义了测试流程DNS Test,客户端为Fairfax,DNS服务器为Google的DNS服务器.8.
在参数设置里要求解析,并且设置测试次数为100次。
根据测试结果知道测试100次都通过,成功率为100%。
根据测试报告得到详细的DNS解析时间的分布图。 1.4. 页面打开时间
创建测试流程web page open,客户端为TA,要打开的页面为,测试次数为50次,我们也可以定义50个不同的页面,分别打开一次,完全根据用户需要定制。
测试报告包括多个子报告,包括页面打开时间:
页面打开时间分布为12-14秒之间。
页面打开时间统计平均时间为12.0301秒,标准为0.783秒。 1.5. 下载速率
下载速率测试即可以通过上例子中的Throughput获得,也可以通过FTP测试的方式获得。
定义ftp download测试流程,制定用户TA和FTP服务器,并且在参数配置中配置用户帐号。 3. 方案优势
NetAlly网络评估解决方案的优势在于: 现场测试
现场工程师只需手拿一台安装了Traffic Agent软件的笔记本电脑,连接到用户网络中进行测试,直接反应最终用户体验,最贴近客户。
集中管理
所有的测试流程通过数据中心服务器上的TestCenter软件进行定制和下发,集中管理测试结果和测试报表的汇总。
标准化的流程
所有的测试流程统一定制,统一下发,可以不断的扩展。测试的方式、时间、次数完全根据用户要求。
方便、高效
测试的发起可以由现场工程师发起,也可以由数据中心集中发起。 工程师只需要点击测试按钮就可以同时进行多个用户端的现场测试,并且生成统一的测试报表并进行汇总。
因篇幅问题不能全部显示,请点此查看更多更全内容