QF-Test ist ein Testausführungswerkzeug von der Firma Quality First Software zum Test von graphischen Benutzeroberflächen.
Der einfache Einstieg in die Testautomatisierung wird durch Wizards und einen Capture-And-Replay-Mechanismus unterstützt. Die graphische Benutzeroberfläche von QF-Test stellt die Testfälle in einer Baumstruktur dar, die einen einfachen Überblick gibt, welche Schritte in welcher Reihenfolge ausgeführt werden.
Die Funktionaltät des Tools kann für durch Skripting praktisch erweitert werden und der Testautomatisierer kann dafür auf den ganzen Befehlsumfang einer modernen Programmiersprache (Jython, Groovy, JavaScript) zugreifen.
Mit dem Listener-Konzept kann der Testautomatisierer bei Bedarf den allgemeinen Testablauf durch individuell entwickelte Aktionen ergänzen.
Damit gibt es ein sehr breites Spektrum, in dem QF-Test eingesetzt werden kann und es kann auch unterschiedlich erfahrene Testautomatisierer in deren Arbeit unterstützen.
Ich setze QF-Test seit 2011 in unterschiedlichen Projekten und habe durchweg gute Erfahrungen mit dem Werkzeug gemacht.
Schlüsselwortgetriebenen Tests mit QF-Test
Gerade in Projekten, in denen ich als Berater unterstütze, kommt es darauf an, dass die Testautomatisierung so aufgebaut wird, dass Testfälle
- von Personen entwickelt werden sollen, die über fundierte Kenntnisse der fachlichen Domäne haben und geringe Programmierkenntnisse und
- in Testmanagementsystemen verwaltet werden sollen.
Eine Testsuite von QF-Test kann neben Testfällen auch Prozeduren beinhalten. Schlüsselwörter können in QF-Test in Form von Prozeduren entwickelt werden und QF-Test kann zu einer Testsuite eine HTML-Dokumentation der Prozeduren generieren.
Als Testautomatisierer kann ich Schlüsselwörter entwickeln und diese in QF-Test so dokumentieren, dass der Tester mit Hilfe der HTM-Dokumentation in der Lage ist, aus den Schlüsselwörtern die Testfälle zu entwickeln.
Wenn der Testfall in einem Testmanagementsystem abgelegt ist, dann bieten diese Systeme häufig einen Export von Testfällen auf Basis von Tabellen in Form einer Microsoft Excel-Datei. QF-Test bietet leistungsfähige Datentreiber, mit denen das Exportformat eingelesen werden kann.
Je nach Format der Tabelle lässt sich das Testergebnis von QF-Test automatisiert protokollieren. Damit kann nach der Testdurchführung die Microsoft Excel-Datei importiert werden und die Testergebnisse sind im Testmanagementsystem verfügbar.
Genauere Informationen finden Sie in einem Dokument , dass ich 2013 geschrieben habe.
QF-Test zur Messung der End-User-Experience
Im Jahr 2017 hatte ich ein Projekt, bei dem es um die Entwicklung und den Test einer Webapplikation ging. Die Besonderheit war, dass die Webapplikation eine Single-Page-Application war und mit einem, asynchronen Protokoll gearbeitet hat. Das System under Test hat Requests lediglich quittiert und zu einem späteren Zeitpunkt das Ergebnis der Verarbeitung geliefert. In einem derartigen Szenario kann ein Performanztestwerkzeug keine zuverlässigen Antwortzeiten ermitteln, da Requests und Responses inhaltlich ausgewertet werden müssen.
Eine zuverlässige Messung ist über die Oberfläche schon eher möglich, da Testausführungswerkzeuge eine Aktion erst dann ausführen können, wenn das entsprechende Steuerelement auf dem Bildschirm zu sehen ist. Da der Kunde bereits mit QF-Test funktionale Tests durchgeführt hatte, lag es auf der Hand, QF-Test in den Performanztest zu integrieren.
Zu dem Thema Messung der End-User-Experience habe ich auf dem German Testing Day 2018 einen Vortrag gehalten und die konkrete Implementierung ist in dem Webinar zu sehen.
QF-Test in der automatisierten Fertigungsprüfung
Bei einem Kunden, der im Geräte- und Anlagenbau tätig ist, bestand mein Auftrag darin, den Testprozess zu verbessern und eine Testabteilung aufzubauen. Auftraggeber war der Abteilungsleiter, der für die Entwicklung neuer Geräte verantwortlich war.
Vor allem in Gesprächen mit Vertretern der Fertigung hat sich gezeigt, dass in der Entwicklung und in der Fertigungsprüfung gleiche oder ähnliche Tests durchzuführen sind. Da wir in der Testabteilung bereits auf Testautomatisierung mit QF-Test gesetzt hatten, stellte sich die Frage, ob man die Testskripte nicht auch in der Fertigung nutzen könne?
Die Antwort war nach einigen Überlegungen schnell gefunden und konnte mit „JA“ beantwortet werden.
Aus den Testskripten der Testabteilung wurden Abläufe für den automatisierten Fertigungstest entwickelt. Da einige Tests manuell viel einfacher umzusetzen sind, wurde der Testablauf so aufgebaut, dass zunächst Testschritte abliefen, die vom Mitarbeiter der Fertigung zu beantworten waren und anschließend der größte Teil automatisiert ausgeführt wurde.
Die Testprotokolle, die QF-Test liefern kann, wurden um gerätespezifische Informationen ergänzt und wurden auf diese Weise Teil der Gerätedokumentation. Bei einem Gerätetyp, der bei einem Zulieferer gebaut wurde, wurden auch die Tests beim Zulieferer durchgeführt und in diesem Fall waren die Testprotokolle Bestandteil der Eingangsprüfung in der Warenannahme.
In dem Fall wurde Testautomatisierung konsequent weitergedacht und wurde zum Bestandteil der Geräteentwicklung, da der automatisierte Fertigungstest ein internes Produkt war, das nach dem Launch auch der Fertigung übergeben wurde.