white-box-test

Black Box Test

Wenn Sie Systeme testen, ohne deren Innenleben zu kennen, wird dies üblicherweise als „Black-Box-Testen“ bezeichnet. D.h. Sie wissen nicht, wie das System im inneren funktioniert, sondern Sie schauen sich die ursprüngliche Anforderungsdefinition (z.B. das Pflichtenheft und Use Cases) an, schreiben aufgrund dessen Testfälle und lassen Ihre Tester dann mit diesen Testfällen entsprechende Tests durchführen.

Als Tool für das Black-Box-Testen können Sie prinzipiell natürlich auch Excel-Dateien nutzen, in jedem Fall fahren Sie deutlich besser und komfortabler wenn Sie ein Tool wie unsere Test-Management-Umgebung Zeta Test nutzen.

 

Mit Zeta Test haben Sie eine hochperformante, intuitive und sehr kosteneffektive Lösung, die Sie sowohl beim Definieren der Black-Box-Testfälle als auch beim späteren Dokumentieren der Tests in Testplänen unterstützt. Das Auswerten und Interpretieren der Testergebnisse wird ebenfalls zum Kinderspiel, da die kumulierte Ampelfarbe es ermöglicht, schnell bei jeder Testgröße Hotspots zu finden.

Im Gegensatz zum so genannten „White Box Test“, bei dem ein Tester weiß, wie ein System im Inneren aussieht, also die Interna und Algorithmen, Abläufe kennt, kennt er bewusst beim Black-Box-Test die Interna nicht. Sollte sich während der Entwicklung die Anforderungen an die Funktionalität der Anwendung ändern und es wurde vergessen, dies zu dokumentieren, so wird dies beim Black-Box-Testen entweder komplett vergessen, auf Korrektheit zu testen, oder es wird nur durch Zufall getestet. Die Tests sind dementsprechend auch in der Regel nicht von den Entwicklern selbst zu schreiben (da sie ja interne Kenntnisse des Systems haben), sondern werden von komplett anderen Personen erstellt und letztendlich auch getestet.

Wenn Sie Ihre Testfälle in Zeta Test geschrieben haben, können Sie optional diese zum Review, also zur Kontrolle, an andere, dafür zuständige Personen weitergeben, so dass die Testfälle selbst vor der Nutzung in Testplänen für Black-Box-Tests noch einer Qualitätskontrolle unterzogen werden, was dann wieder der Qualität der Tests und somit auch der zu testenden Software zu Gute kommt.

Und jetzt sind Sie dran: Downloaden Sie kostenlos und unverbindlich gleich hier und jetzt die Vollversion und probieren Sie selbst aus, wie einfach und komfortabel Black-Box-Tests durchzuführen sind!

White Box Test

Wenn es darum geht, die so genannten „White-Box-Tests“ durchzuführen, so wird damit die Methode bezeichnet, ein System zu testen, bei dem die inneren Funktionsweisen dem jeweiligen Tester bekannt ist. Dies ist im Gegensatz zum so genannten „Black-Box-Test„, bei dem der Tester ganz bewusst nichts über die innere Funktionsweise kennt und lediglich die Schnittstellen (z.B. die GUI) kennt, so wie ein normaler Anwender auch.

Der White Box Test wird manchmal auf „Glass-Box-Test“ genannt, eben weil das System quasi transparent für den Tester ist. Da der Tester die Internas des zu testenden Programms/Produkts/Projekts/Systems kennt, kann er ein bestimmte Metriken einhalten und testen, beispielsweise um zu sehen und sicherzustellen, dass alle Code-Zeilen und Programmteile auch durchlaufen werden. Im Gegensatz zum Black-Box-Test, wo er keinen Überblick hat, wie viele Zeilen, Blöcke und Funktionen in seinem Test tatsächlich durchlaufen wurden.

Mithilfe unserer komfortablen und intuitiven Test-Management-Umgebung Zeta Test können Sie selbst Ihre eigenen Testfälle definieren, die für spätere White-Box-Tests herangezogen werden können.

Die Tester können direkt in Zeta Test ihre Tests durcharbeiten und das Testergebnis erfassen. So sind die White-Box-Tests sowohl sauber in ihrer Definition erfasst und später gut analysierbar, als auch sind die Ergebnisse der Tests sehr gut und nachvollziehbar dokumentiert. Über die umfangreichen Auswertungs-Tools können auch Test-Manager sich schnell einen Überblick verschaffen, wie der Projektstand aktuell ist. Das fängt beim übersichtlichen Projektbaum an, der ordentlich strukturiert einen sehr guten Überblick samt Drill-Down über die Testqualität gibt. Das interne, erweiterbare Reporting generiert Berichte für unterschiedlichste Zwecke in vielen verschiedenen Formaten.

Während sich die White-Box-Tests sehr gut dafür eigenen, eine gute Testabdeckung zu erreichen, ist für das Prüfen gegen eine Spezifikation (also ob das Programm das kann, was gefordert ist) ein Black-Box-Test notwendig. Mit White-Box-Tests können Sie vor alle einzelne Komponenten eines Systems isoliert voneinander testen.

Wenn Sie Zeta Test komplett kostenlos und ohne Registrierung ausprobieren wollen, so downloaden Sie sich gleich jetzt die Vollversion!

White Box Test Tool

Sie sind auf der Suche nach einem Programm um die Dokumentation von White-Box-Tests durchzuführen? Dann herzlich willkommen! Unser Test-Management-Werkzeug Zeta Test ist genau für so etwas entwickelt worden.

Ganz kurz als Einführung den Begriff „White Box Test“ erklärt: Im Gegensatz zum so genannten „Black-Box-Testing“ ist beim White-Box-Testing dem Tester und demjenigen, der Testfälle definiert die innere Funktionsweise des Systems bekannt. Er testet also keine geschlossene „Schwarze Schachtel“, sondern eben ein ihm intern bekanntes System, quasi die „Weiße Schachtel“. Dies umfasst z.B. die internen (Daten-)Strukturen und verwendeten Algorithmen. Der Tester kann so bewusst Pfade durchs System nehmen, dass möglichst viele der Gesamtmenge an möglichen Pfaden davon auch abgegangen werden. Andere Begrifflichkeiten sind zum Beispiel „Stukturierter Test“, „Glass-Box-Test“ oder auch „Transparent-Box-Testing“.

Wir haben unser System so gestaltet, dass Sie es sehr gut für solche Art von Tests, schwerpunktmäßig bei dem Test von Software-Projekten und -Produkten, einsetzen können. Sie können sehr komfortabel mit dem Programm arbeiten, z.B. im grafischen Editor für Testfälle schön strukturierte und übersichtlich formatierte Tests schreiben, auch direkt mit Inline-Bildern im Artikel. Dies macht es den Testern später beim White-Box-Testing einfach, zu verstehen, was genau gemacht werden soll.

Zeta Test ist primär ein Windows-Programm, dass angefangen bei Windows Server 2003 über Windows XP bis hin zu Windows 7 und Windows 8 auf allen modernen und nicht mehr ganz so modernen Betriebssystemen läuft. Zusätzlich gibt es für externe oder weit verteilt sitzende strukturelle Tester einen Web-Client, der komplett über Browser bedient werden kann und beispielsweise für den Review von Testfällen, das Durchführen von Testläufen und die Erfassung von Testfall-Ergebnissen genutzt werden kann.

Darüber hinaus sind auch die Ergebnisse Ihrer White-Box-Tests gut auswertbar; sei es über die hierarchisch kumuliert dargestellten Ampfelfarben oder über die ausgefeilten Reports und Berichte, die Sie im integrierten Report-Designer komplett nach Ihren Wünschen gestalten können (aber natürlich nicht müssen).

Probieren Sie heute noch aus, wie komfortabel Testen sein kann und downloaden Sie komplett kostenlos und ohne Registrierung unsere Software!

Der integrierte Report-Designer und das Reporting-System

Beim Design von Zeta Test, unserer sympathischen Lösung für intelligentes Test-Management, war mir ein flexibles Berichtswesen (umgangssprachlich auch als „Reporting“ bezeichnet) wichtig. Was bringen die besten Daten, wenn Sie im Programm „gefangen“ sind und nicht mehr herauszubekommen sind?

Aus diesem Grund gibt es das Reporting in Zeta Test. Reports werden im kostenlos mitgelieferten Report-Designer neu erstellt, angepasst oder weiter verfeinert. Das Prinzip ist dabei einfach und verständlich: Alle Berichte liegen als REPX-Dateien („*.repx“) im Dateisystem vor. Gleichzeitig hat das Kontext-Menü für jedes der Elemente im Baum im Windows-Client-Hauptfenster ein dynamisches Menü für Berichte. Beim Öffnen wird dynamisch im Dateisystem nach den für des jeweilige Element gültigen Berichten (z.B. für Testfälle, Testpläne, Testordner, usw.) geschaut und entsprechend als Menüeintrag dargestellt. Klicken Sie einen Bericht an, so wird er in einem nicht-modalen Fenster geöffnet und mit den entsprechenden Werten des aktuellen Elements gefüllt.

Das Tolle an dieser Architektur ist nun, dass Sie selbst beliebig viele eigene Berichte hinzufügen oder bestehende Berichte entfernen, ganz nach Ihren Anforderungen. Um selbst eigene Berichte zu erstellen, wird der Berichts-Designer als eigenständige Anwendung kostenlos mitgeliefert. Der Report-Designer ist komplett flexibel gestaltet; alle unsere mitgelieferten Berichte sind vollständig mit diesem Werkzeug erstellt worden, wir haben keine weiteren Tools verwendet. Sie starten den Designer direkt über das Ribbon-Menü in Zeta Test. Beim ersten Start wird Ihnen eine kurze Anleitung angezeigt, danach kann’s direkt losgehen. 🙂

Am einfachsten starten Sie, indem Sie einen bestehenden Bericht im Windows Explorer kopieren und diesen dann mit dem Report-Designer bearbeiten. Sie können im Designer dann grafisch Elemente wie Textfelder, Grafiken, Charts (Diagramme), Linien, usw. erstellen und entsprechend an zuvor erstellte SQL-Abfragen binden. Später in Zeta Test selbst werden dann die SQL-Abfragen im Bericht auf das entsprechend ausgewählte Element ausgeführt und die Ergebnismenge im Report dargestellt. Einen so erstellten Bericht können Sie beim Anzeigen in Zeta Test in viele Formate exportieren, beispielsweise Adobe-PDF-Dokumente („Portable Document Format“), Microsoft Office Word (DOC, DOCX), Microsoft Office Excel (XLS, XLSX) oder z.B. als HTML-Dateien.

Mit dem integrierten Reporting erhalten Sie eine mächtige, flexible und leicht verständliche Lösung um sich erweiterbare Berichte zu generieren. Legen Sie noch heute los mit Testen!

Anbindung an LDAP-Provider zur Benutzerverwaltung

Ähnlich wie Microsofts SQL Server, kommt auch die integrierte Test-Management-Software Zeta Test mit zwei möglichen Arten der Benutzerverwaltung: Sie können eine eigenständige, integrierte Benutzerverwaltung verwenden, die ganz ohne externe Schnittstellen auskommt. Dies ist sinnvoll, wenn Sie kleinere Projekte in kleineren Teams testen, oder wenn Sie keine Möglichkeit haben, technisch Zugriff auf Ihre im Unternehmen vorhandene Benutzerdatenbank(en) zu bekommen, sei es aus technischer oder auch rechtlicher Sicht. Die andere Möglichkeit ist, Zeta Test an eine externe Benutzerverwaltung anzubinden. Auch ein Mischbetrieb ist möglich.

Eine externe Benutzerverwaltung wird über eine flexible und einfach zu konfigurierende Anbindung in Zeta Test konnektiert. Die Grundlage ist hier der Industriestandard LDAP, das „Leightweight Directory Access Protocol“, also ein Protokoll um auf Verzeichnisdienste zuzugreifen. Zeta Test ist hier sehr flexibel; es wird praktisch jedes auf dem Markt verfügbare Verzeichnis unterstützt, angefangen bei Microsofts Active Directory (AD), über ApacheDS, Novells Verzeichnisdienst oder ein LDAP-Verzeichnis von einem Apple-Server. Sie können in einem einzigen Zeta-Test-Projekt eine beliebige Anzahl an LDAP-Verbindungen einrichten. Dadurch können sich z.B. Benutzer aus unterschiedlichen Domänen an Zeta Test gleichzeitig anmelden und Testfälle durchführen.

Die Benutzeranbindung an ein LDAP-Verzeichnis bietet den Vorteil, dass ein Benutzer sich mit demselben Benutzernamen und demselben Kennwort an Zeta Test anmelden kann. Zeta Test selbst speichert hierbei keine Kennwörter sondern reicht diese zur Prüfung an den LDAP-Dienst weiter, der wiederum die Information zurückgibt, ob der Benutzer sich erfolgreich angemeldet hat oder nicht.

Die Berechtigungen eines Benutzers innerhalb von Zeta Test (z.B. welche Testpläne er sieht und nutzen kann) werden nach wie vor über die Gruppenzugehörigkeit gesteuert. Hierzu werden beim Benutzerimport aus LDAP auch die Benutzergruppen importiert und die Gruppenzugehörigkeit der Benutzer ebenfalls. Anschließend konfigurieren Sie die Berechtigungen der so importierten Gruppen und haben sich die komplette manuelle Zuordnung der Benutzer zu Benutzergruppen erspart. Auch wenn Benutzer später zu Gruppen hinzugefügt werden, oder wenn Benutzer aus Gruppen im LDAP-Verzeichnis entfernt werden, wird dies beim nächsten Import von Zeta Test erkannt und entsprechend die Zuordnungen entfernt.

Nutzen Sie noch heute die intuitive Benutzeroberfläche der Test-Management-Software-Umgebung Zeta Test und downloaden Sie sich Ihre eigene kostenlose Version!

Welche Begrifflichkeiten gibt es in Zeta Test?

Erfahrungsgemäß dauert es ein wenig Eingewöhnung, bis neue Anwender unserer Test-Management-Software Zeta Test sich mit den im Programm verwendeten Begrifflichkeiten zurecht. Nachfolgend deshalb kurz die wichtigsten Begriffe erklärt.

  • Testfall
    Ein Testfall ist die kleinste Einheit in Zeta Test. Ein Testfall beschreibt ein einzelnes zu testendes Element. Ein Tester kann anhand der Informationen in einem Testfall (Vorbedingungen, Testschritte, erwartete Ergebnisse) einen Test durchführen und bewerten, ob der Test erfolgreich oder fehlgeschlagen ist.
  • Testeinheit
    Um Testfälle, auch in sehr großer Menge (mehrere Hunderttausend) übersichtlich zu verwalten, gibt es die so genannten Testeinheiten. Diese dienen schlicht der Strukturierung von Testfällen und können beliebig tief verschachtelt werden.

Stellen Sie sich Testfälle und Testeinheiten einfach wie Dateien und Ordner in Windows Explorer vor; Dateien (Testfälle) enthalten die Informationen, Ordner (Testeinheiten) können beliebig tief verschachtelt werden und enthalten jeweils Dateien (Testfälle) und andere Ordner (Testeinheiten). Testfälle und Testeinheiten werden übrigens in der Testfall-Bibliothek, dem globalen Pool aller Ihrer Testfälle, organisiert.

  • Testpläne
    Ein Testplan enthält eine Untermenge, also einen Auszug aus der Testfall-Bibliothek. Alle die Testfälle, die logisch einen Satz von Tests ausmachen werden in einem Testplan gruppiert. Es können beliebig viele Testfälle pro Testplan enthalten sein, übliche Erfahrungswerte sprechen von 10 bis wenigen hundert Testfällen in einem Testplan.
  • Testläufe
    Ein Testlauf ist eine Sammlung von tatsächlich durchgeführten Tests aller Testfälle in einem Testplan. Somit ist der Testlauf ein untergeordnetes Element zu einem Testplan. Pro Testplan kann es beliebig viele Testläufe geben. Testläufe können nochmals in so genannte Testumgebungen unterteilt werden, um z.B. Tests für die Testumgebung und Tests für die Produktivumgebung unterscheiden zu können.
  • Testergebnisse
    Beim Durchführen eines Testlaufs werden dem Tester in einer übersichtlichen Assistenten-Ansicht nacheinander (oder auch wahlfrei zugreifbar) alle Testfälle angezeigt. Zu jedem Testfall kann der Tester sein Ergebnis erfassen, in textueller Form in einem großen HTML-Textfeld, als auch durch Auswahl eines Status (z.B. „erfolgreich“, „teilweise erfolgreich“ und „fehlgeschlagen“.
  • Testordner
    Ab einer bestimmten Menge von Testplänen wird die Liste der Testpläne unübersichtlich. Deshalb gibt es das Element der Testordner, die Sie beliebig tief hierarchisch verschachteln können.

Wiederum analog zu Windows Explorer sind Testordner (Ordner) und Testpläne (Dateien) beliebig zueinander verschachtelbar. Sie können so auch große Mengen an Testplänen sauber und übersichtlich strukturieren.

Das waren auch schon die wichtigsten Begriffe. Im täglichen Arbeiten mit Zeta Test werden Sie ganz intuitiv mit diesen Begrifflichkeiten umgehen und diese implizit nutzen.

Welche Bugtracker können an Zeta Test angebunden werden?

Im Laufe der letzten zwei Jahre seit dem Bestehen von Zeta Test ist eine recht universelle Fehlerdatenbank-Schnittstelle entstanden, die es erlaubt, quasi jeden Bugtracker mit entsprechender Schnittstelle auch an Zeta Test anzubinden. Ein einmal angebundener Bugtracker bietet den Testern die Möglichkeit direkt während eines Testlaufs fehlgeschlagene Testfälle integriert in die Fehlerdatenbank zu berichten, ohne die Zeta-Test-Anwendung zu verlassen.

Zurzeit werden folgende Fehlerdatenbanken unterstützt:

  • Mantis BT. Dieser populäre und kostenlose Open-Source-Bugtracker bietet eine SOAP-Schnittstelle, über die Zeta Test Daten senden.
  • Jira. Die kommerzielle und mächtige Bug-Tracking-Software Jira bietet ebenfalls eine SOAP-Schnittstelle, die Zeta Test nutzt um Daten zu übertragen.
  • FogBugz. Dieses kleine, kommerzielle Programm vom berühmten Entwickler Joel Spolsky aus New York bietet eine einfache XML-Schnittstelle über die per HTTP/HTTPS zugegriffen werden kann. Zeta Test verwendet diese Schnittstelle zum Berichten von Issues an FogBugz.
  • Team Foundation Server. Microsofts TFS ist ein kommerzielles Produkt zur Quellcode und Issue-Verwaltung. Die umfangreiche SOAP-Schnittstelle kommt mit eigner Bibliothek. Zusätzlich zum Berichten von Fehlern kann Zeta Test aus TFS auch nativ Testfälle importieren.
  • Bugzilla. Das Open-Source-System Bugzilla wird von den Netscape-/Firefox-Entwicklern entwickelt und verfügt über eine XMLRPC-Schnittstelle mit deren Hilfe Zeta Test Fehler berichtet.
  • OnTime. Diese kommerzielle Lösung eines U.S.-Amerikanischen Software-Herstellers bietet ebenfalls eine SOAP-Schnittstelle. Zeta Test verwendet die SOAP-Schnittstelle um Fehler an OnTime zu senden.
  • Trac. Mit Trac ist ein weiteres Open-Source-Projekt- und Source-Control-Management-System verfügbar, das ebenfalls via Web-Schnittstelle programmatisch von Zeta Test aus mit Fehlermeldungen befüllt werden kann.
  • Redmine. Dieses Programm ist eine Open-Source-Projekt-Management-Lösung. Die SOAP-Schnittstelle erlaubt es Zeta Test, auch Redmine mit Fehlerberichten zu füllen.

Die Bugtracker-Anbindung ist sehr flexibel konfigurierbar; so können Sie beispielsweise konfigurieren ob die Einträge automatisch bei jedem als fehlerhaft gemeldeten Test erfolgen soll, oder ob Sie in einem Dialogfenster selbst weitere Fehlerdatenbank-Felder (auch benutzerdefinierte Felder) zur Auswahl anbieten, bevor ein Fehler berichtet wird. Diesen Fehlerdialog können Sie wiederum im Programm selbst frei definieren; Sie legen also fest, welche Felder dargestellt werden und wie diese ausgefüllt werden können.

Fangen Sie heute noch an mit professionellem Testen und integrierter Fehlerdatenbank-Anbindung. Nutzen Sie Zeta Test kostenlos und unverbindlich!

Vielfältige Möglichkeiten um Testfälle zu bearbeiten

Mit der professionellen Test-Management-Software-Umgebung Zeta Test bekommen Sie ein mächtiges Werkzeug an die Hand, das gleichzeitig übersichtlich und intuitiv zu bedienen ist. Zu beginn jedes Projekts ist die Erstellung von Testfällen einer der Hauptschwerpunkte der Arbeit eines Test-Managers.

Der grundlegende Aufbau eines Testfalls sind die 3 Bereiche „Vorbedingungen“, „Testschritte“ und „Erwartete Ergebnisse“. Die Vorbedingungen spiegeln die notwendigen Dinge wieder, die gegeben sein müssen, um den Testfall selbst überhaupt erfolgreich durchführen zu können. Dies können z.B. vorherige erfolgreiche Tests sein, das Vorhandensein bestimmter Umgebungselemente oder bestimmte Zustände. Die Testschritte beschreiben die vom Tester durchzuführenden Arbeiten am zu testenden Programm/Projekt. Hier sollte die Beschreibung so genau sein, dass der Tester weiß, was von ihm erwartet wird, gleichzeitig sollten Sie es vermeiden, zu detailliert zu werden um in endlicher Zeit auch mit der Beschreibung des Testfalls fertig zu werden. Die erwarteten Ergebnisse beschreiben die bei erfolgreicher Durchführung der Testschritte produzierten Ergebnisse/Ausgaben; hier sollten Sie dem Tester sagen, was üblicherweise passieren soll.

In Zeta Test sind diese drei Bereiche als 3 große Textfelder realisiert. Sie können in jedem der Felder Formatierungen wie z.B. fett, kursiv, Vorder- und Hintergrundfarben, Aufzählungslisten, nummerierte Listen, usw. eingeben. Als Besonderheit können Sie auch direkt aus der Windows-Zwischenablage heraus Bilder in die Felder einfügen. Diese werden dann automatisch in Zeta Test übernommen. In den globalen Projekteinstellungen von Zeta Test können Sie eine lokale Werkzeug-Symbolleiste über jedem der 3 HTML-Testfelder ein-/ausblenden.

Pro Testfall ist es außerdem möglich, dass Sie beliebig viele Anhänge hinterlegen. Normalerweise ist dies sehr praktisch um dem Tester später die erwarteten Ergebnisse näher zu beschreiben. Kommt z.B. ein Excel-Dokument als erwartetes Ergebnis eines Tests heraus, könnten Sie ein Muster-Excel-Dokument als Anhang an den Test anfügen, so dass der Tester sein generiertes Excel-Dokument mit Ihrem vergleichen kann und so sehen kann, ob die Dokumente inhaltlich übereinstimmen, sprich der Test erfolgreich war.

Diese 3 Textfelder reichen normalerweise für die allermeisten Anwendungsfälle. Trotzdem bietet Ihnen Zeta Test hier noch deutlich mehr: Über die so genannten „Attribute“ haben Sie die Möglichkeit, sich komplett neue Eingabefelder über den 3 Textfeldern mehrspaltig anzuordnen. Die Felder können dabei unterschiedlichste Typen annehmen, z.B. einzeilige Textfelder, mehrzeilige Textfelder, Aufklapp-Menüs mit Aktionen, einzelne Hyperlinks, Listen, Datumsauswahlen oder auch Kontrollkästchen. Sie können sich so sehr flexibel eigene Strukturen erzeugen und den Testern so ganz strukturiert Informationen zur Verfügung stellen. Pro Attribut konfigurieren Sie außerdem, ob es auch in Zeta-Test-Listen im Hauptfenster erscheint; In Reports können Sie ebenfalls auf diese Attributwerte zugreifen.

Zögern Sie nicht und schauen Sie sich einfach mal kostenlos, unverbindlich und völlig anonym unsere moderne, intuitive und flexible Test-Management-Software an. Testen kann richtig Spaß machen, probieren Sie es aus!