VSTS 测试的简单应用 (二)
2009年6月4日
Load Testing
在之前做的web测试的基础上,我们进行一次load testing。
首先,是添加一个Load Testing.
进行load test的设置,包括以下几个方面:
1. Scenario的设置:
Load Test 要求尽可能的模拟实际情况。对scenario的设置正是趋于这个目的。首先,进行的是Think Time的调整,紧接着是Load Pattern的设置,固定还是步增?再接着是scenario的分布,这里可以添加在相同project下的不同的测试,可以是web测试,manual测试等等,并根据实际环境进行资源分配。也可以对浏览器或者是网络环境进行分配,以测试在不同的环境下的运行状况。 计数器的设置,可以根据需求添加自己的关注点。最后一步是运行设置,运行时间,validate level等等。
执行测试:
下面的图是执行Load test时的监视窗口,可以选择不同的计数器来观察program运行时的性能,从而找出瓶颈。
除了这两种测试外,还可以添加Unit Test, Manual Test等等。
测试代理 Test Agent
测试的时候,只用一台机子进行测试不一定能达到需求。比如,测一个网站,要求同时发生的request要有成千上万个或者不同的IP,这个任务显然是一个机子完成不了的,这就需要多台机子一起进行操作。这就是Test Agent的作用,代理其他计算机进行测试任务。
Performance Winzard
还发现一个东西,Performance Wizard(Tools-〉Performance Wizard)
添加程序:
进入属性设置:添加计数器,事件等等
运行,生成report,可以查看执行时的性能
VSTS 测试的简单应用 (一)
2009年6月3日
MSDN的VSTS风暴系列有1个讲座是针对测试人员的,讲述了VSTS在自动化测试中的一些简单应用,主要包括以下几个方面:
- Web Testing
- Load Testing
- Testing Agent
Web Testing
Web testing的自动化在VSTS里和其他一些自动化测试工具相似,具备了录制和回放的功能。
要利用VSTS进行一次web的自动化测试,可以按照以下步骤来进行:
1. 前期准备。明确测试的Scenario,并进行相应的数据准备,比如说IE设置,用户ID Password设置等等。
2. 录制。在VS的Project里添加一个web test,按照test case的步骤在进行脚本录制。
3. 编辑。修改测试数据或将测试数据链接到SQL,添加校验规则,运行参数等等。
4. 运行。
5. 分析测试结果。
这个也应该是大多数有录制功能的自动化测试工具的基本步骤。
以一个例子详细说明:
Scenario1: 在Google.com里搜索"web testing", 检验搜索结果中含有关键字 "web testing"。 确认输入google.com进入的是Google的主页,不是其他igoogle之类的。
录制。
新建一个Test Project:
Add a Web testing.
在弹出的IE窗口里左边,你可以看到一个Web Test Record,这里可以控制录制的进程和添加Comments. 这个窗口打开的同时,Web Test Recorder同时开始工作,接下来在IE里的操作都将被记录。
地址栏里输入www.google.com.进入Google首页,在搜索栏里输入web testing,点击搜索,得到搜索结果。
按Stop停止录制。
3. 编辑。
输入数据修改和数据库链接:
录制好了,回到VS,查看录制的Web Test. 我们之前做了个操作,一是进入Google,二进行搜索并进入了搜索结果页面。这里录制后的脚本也分为两步,分别是Googl.com 和 Google.com/search。
将第二个步骤展开,可以看到Query String Parameters。里面 "q" 的值就是我们刚刚输入的 web tesing. 如果你要进行其他搜索,可以在属性里修改这个q的值或者也可以将此值与本地的数据库进行绑定。
数据库绑定:
点选 Add Data Source.打开 Connection Properties进行连接数据库配置。(配置前确保DBMS里存在相应的数据库和表)
选择相应的表。
在q属性的value栏里指定对应的column。
在 Data Source 相应的column属性里可以选择在数据表里获取数据的方式 :Unique,Random,Sequential.
添加校验规则:
Validate的配置,比如说在网页找找到文本或者最大的反应时间等等。
4. 运行。
点击运行。从运行窗口中获得运行的结果。
运行设置:
运行后,可以设置运行的参数:运行次数,浏览器和网络环境的设置等等。
Bug Manage System
2009年3月29日
为什么要对Bug进行管理?基于对项目的管理和软件质量的控制,确保没有bug能crash你的程序。(Assure that no bug falls through the cracks)
一个bug管理系统的作用:
记录:记录一个bug从open到closed的整个life cycle所产生的信息,比如bug的owner,title,reproduce steps等等,以及bug的解决方案,解决时间等等。
沟通:bug的产生和变更能够及时通知到bug相关人员(Dev,Tester,Dev reviewer, Test reviewer, Manager, Bug Owner等),bug和bug之间的关系。
监控:能够有效监控所有bug的状况,如:可以通过查询获得bug的状态及相关信息,bug状态提醒等等。
分析:具备对bug进行定量分析的功能,如:不同角度的bug数量变化趋势图(时间,模块,产生原因等等)
集成:与项目的其他系统集成在一起。比如需求文档,测试用例,代码,自动测试工具等等。
PS :
1. 全面的信息记录功能。
2. 强大的查询功能,有效的跟踪bug的状态。
3. 完整的bug数据库,
4. 丰富的周边工具