Autor: Dr. Hartmut Pohlheim, Model Engineering Solutions<\/p>\n
Es wird eine Methode vorgestellt, die es erm\u00f6glicht, Anforderungen auf allen Testsequenzen zu testen und automatisiert auszuwerten. Somit werden der Testaufwand und die Fehleranf\u00e4lligkeit reduziert. Weiterhin wird eine Methode vorgestellt, die das geforderte Requirement-Tracing in der Praxis unterst\u00fctzt. Die Kombination beider Methoden in einem effizienten Test-Tool f\u00fchrt zu einer signifikanten Steigerung der Testabdeckung und der Verl\u00e4sslichkeit der Testergebnisse.<\/strong><\/p>\n Immer komplexer werdende Software in Verbindung mit hohen Qualit\u00e4tsanspr\u00fcchen macht effizientes Testen unverzichtbar. Speziell durch die ISO\u00a026262 ist es in der modellbasierten Entwicklung unerl\u00e4sslich, effiziente Techniken zum Testen zu entwickeln. Die durch die Norm geforderte Testabdeckung in Verbindung mit Requirement-Tracing und der Empfehlung zu anforderungsbasiertem Testen f\u00fchren dazu, dass bisherige Testmethoden \u00fcberdacht werden m\u00fcssen [1].<\/p>\n In diesem Zusammenhang stellen wir eine Methode zur automatischen Pr\u00fcfung anforderungsbasierter Modelltests vor, mit der nicht nur eine h\u00f6here Testabdeckung gew\u00e4hrleistet werden kann, sondern dar\u00fcber hinaus ein verl\u00e4ssliches Tracing durch ein speziell zu diesem Zweck entwickeltes Framework m\u00f6glich ist.<\/p>\n Die Kombination der automatisierten Assessments und des automatisierten Requirement-Tracings sind in einem Test-Tool f\u00fcr Simulink\u00ae<\/sup>-, Embedded\u00a0Coder\u00ae<\/sup>– und TargetLink\u00ae<\/sup>-Modelle integriert, mit dem die Forderungen der ISO\u00a026262 mit erheblich geringerem Aufwand erf\u00fcllt werden k\u00f6nnen [2].<\/p>\n Wie der Name verdeutlicht, bilden die Anforderungen die Grundlage des anforderungsbasierten Testens. Ausgehend vom Lastenheft der Software beginnt der Tester damit, alle Stimulationen der Anforderungen abzuleiten, die zum Test der Software notwendig sind. Diese dienen als Input des zu testenden Modells. Nach einer Anzahl erfolgter Simulationen, auch Testsequenzen genannt, stehen die aufgezeichneten Output-Signale zur Verf\u00fcgung. Mit diesen Signalen kann nun die Testbewertung bez\u00fcglich der Einhaltung geltender Anforderungen erfolgen. Mit der Erhebung der Execution-Coverage kann zus\u00e4tzlich gepr\u00fcft werden, ob die angewandte Menge an Stimulationen f\u00fcr eine Bewertung ausreichend ist (Abb. 1, siehe\u00a0PDF<\/a>).<\/p>\n Klassischerweise erfolgte eine Software-Bewertung durch visuelle Begutachtung der Ausgangssignale. Dadurch m\u00fcssen die Stimulationen oft sehr einfach gehalten werden, um die aufwendige manuelle Bewertung zu vereinfachen oder gar erst zu erm\u00f6glichen.<\/p>\n Dieser Beitrag pr\u00e4sentiert einen weiterentwickelten Ansatz zur verbesserten und vor allem automatisierten Bewertung anforderungsbasierter Testf\u00e4lle. Insbesondere bricht er mit der strengen Verbindung von Testf\u00e4llen und Anforderungen. Die automatische Bewertung erfolgt durch ein entsprechend entwickeltes Framework zur formellen Pr\u00fcfung von Anforderungen. Dieser Ansatz zeichnet sich dadurch aus, dass eine einmalig in einem Assessment formulierte Pr\u00fcfung wiederverwendbar ist und auf allen erdenklichen Systemantworten angewendet werden kann. Dies unterstreicht zum einen den allgemeing\u00fcltigen Charakter von Anforderungen und hilft zum anderen Fehler aufzudecken, die zuvor nicht antizipiert worden sind.<\/p>\n Diese Methode beruht generell auf drei charakteristischen Elementen: der Anforderung, der Testspezifikation und den Assessments. Um deren starke Abh\u00e4ngigkeiten untereinander stets zu \u00fcberblicken, ist es im Sinne des in der ISO\u00a026262 geforderten Tracings unabl\u00e4ssig, diese jederzeit nachzuverfolgen. Hierf\u00fcr wurde das Framework\u00a0\u201eRequirements, Coverage, and Traceability\u201c<\/em>\u00a0(RCT) entwickelt, welches auf komfortable Weise die Anforderungsverfolgung unterst\u00fctzt.<\/p>\n Die Kombination beider Ans\u00e4tze in einem Test-Tool erm\u00f6glicht somit einen integrierten Ansatz f\u00fcr einen modern gestalteten und effektiven Testprozess (Abb. 2, siehe\u00a0PDF<\/a>).<\/p>\n Ein Grundprinzip der Assessments ist deren Wiederverwendbarkeit. Ein Assessment kann als eine Funktion verstanden werden, welches die aufgezeichneten In- und Output-Signale sowie die lokalen Signale und Parameter untersucht (Abb. 3, siehe\u00a0PDF<\/a>).<\/p>\n Hiermit pr\u00fcft das Assessment die Invarianz des Systemverhaltens und stellt das Ergebnis f\u00fcr jede Sequenz einzeln bereit. Dabei sind drei Ergebniswerte m\u00f6glich:\u00a0Passed<\/em>\u00a0(das Verhalten entspricht der geltenden Anforderung),\u00a0Failed<\/em>\u00a0(im Verlauf der Testsequenz wurde eine Verletzung der Anforderung detektiert) und\u00a0NotTriggered<\/em>\u00a0(die Testsequenz hat nicht zu einer Stimulation dieser Anforderung gef\u00fchrt).<\/p>\n Im Gegensatz zu einer direkten Pr\u00fcfung von\u00a0n<\/em>\u00a0Testsequenzen mit genau\u00a0n<\/em>\u00a0erwarteten Ergebnissen (Abb. 4, links, siehe\u00a0PDF<\/a>), liefert die Matrixevaluierung mit Hilfe von Assessments eine deutlich h\u00f6here Testabdeckung durch\u00a0m*n<\/em>\u00a0Evaluierungen, da hier ein Satz von\u00a0m<\/em>\u00a0Anforderungen, durch\u00a0m<\/em>\u00a0Assessments gepr\u00fcft wird und diese Pr\u00fcfung auf allen\u00a0n<\/em>\u00a0Testsequenzen erfolgt (Abb. 4, rechts, siehe\u00a0PDF<\/a>). Die Matrixevaluierung erm\u00f6glicht zudem die Aggregation der Ergebnisse auf Ebene der Testsequenzen und Assessments. Dies f\u00fchrt unmittelbar zu einer h\u00f6heren Verl\u00e4sslichkeit der Pr\u00fcfergebnisse.<\/p>\n Um diese Reihe von Aufgaben erf\u00fcllen zu k\u00f6nnen, besteht ein Assessment aus einem beschreibenden Anteil und einem evaluierenden Ausf\u00fchrungsteil. Der erste Teil umfasst u.a. die Traceability-Informationen und einem Beschreibungstext. Im zweiten Teil finden als Post-Processing der Testsequenz der Signalzugriff und deren Bewertung statt (Abb. 5, siehe\u00a0PDF<\/a>).<\/p>\n Um einen schnellen Einstieg zu erm\u00f6glichen steht ein Template-Generator zur Verf\u00fcgung. Anforderungen und ben\u00f6tigte Signale k\u00f6nnen ausgew\u00e4hlt werden und mit wenigen Eingaben wird automatisch ein passendes Template f\u00fcr die Assessments bereitgestellt.<\/p>\n Selbst zu bef\u00fcllen sind im Beschreibungsteil der Name und die Description des Assessments (Abb.\u00a06, siehe\u00a0PDF<\/a>). F\u00fcr die Evaluierung muss unter\u00a0Triggered<\/em>\u00a0die Bedingung formuliert werden, unter der die Anforderung g\u00fcltig ist. Mit den bereitgestellten Hilfsfunktionen kann daraus die Pr\u00fcfung implementiert werden, wie im gezeigten Beispiel eine klassische \u201eWenn-Dann\u201c-Beziehung. Zul\u00e4ssige Reaktionszeiten des Systems k\u00f6nnen ebenfalls ber\u00fccksichtigt werden (Abb. 7, siehe\u00a0PDF<\/a>).<\/p>\n Nachdem alle Testsequenzen zu der Evaluierung einer Anforderung beigetragen haben, k\u00f6nnen deren Ergebnisse aggregiert werden. Die Darstellung des Gesamtergebnisses mit zugeh\u00f6rigen Metriken unseres Beispiels ist in Abb. 8 (siehe\u00a0PDF<\/a>) gegeben. Hierbei gen\u00fcgt eine einzige Verletzung der Anforderung um als Endresultat ein\u00a0Failed<\/em>\u00a0zu erhalten.<\/p>\n Charakteristisch f\u00fcr den vorgestellten Modelltest ist, dass Testsequenzen wie Assessments stets Bezug auf Anforderungen nehmen. Hieraus entsteht eine Vielzahl an Verkn\u00fcpfungen (Abb.\u00a09, siehe\u00a0PDF<\/a>), deren Nachverfolgung in der Praxis oft eine gro\u00dfe Herausforderung f\u00fcr den Tester darstellt.<\/p>\n Um diesen Prozess zu unterst\u00fctzen, haben wir das RCT-Framework entwickelt. Es folgt automatisiert den Verkn\u00fcpfungen und erm\u00f6glicht somit die klare Nachverfolgung von Anforderungen. Als zentrale Elemente dienen hier die IDs der Anforderungen. Der Tester muss lediglich auf diese Bezug nehmen \u2013 sowohl innerhalb der Testspezifikationen, als auch der Assessments. Dieses Framework stellt hierf\u00fcr die entsprechenden M\u00f6glichkeiten bereit (Abb. 10, siehe\u00a0PDF<\/a>). Eine Methode zur Testspezifikation (MTCD), die den hier vorgestellten Prozess unterst\u00fctzt ist in [3] vorgestellt. Das RCT-Dashboard enth\u00e4lt au\u00dferdem wichtige Angaben \u00fcber den Erf\u00fcllungsgrad der Anforderungen und deren Abdeckung mit Testsequenzen und Assessment, was eine Aussage zur funktionalen G\u00fcte des getesteten Software-Moduls erm\u00f6glicht. Metriken zur Bewertung der Testqualit\u00e4t werden ebenfalls bereitgestellt. Darunter z\u00e4hlen u.a. der Fortschrittsgrad des Reviews von Testsequenzen und Assessments sowie die Werte f\u00fcr Modell- bzw. Code-Coverage (Abb. 12, siehe\u00a0PDF<\/a>).<\/p>\n Der Report des RCT-Frameworks dient zum einen als wichtiges Dokumentationselement. Zum anderen ist es ein effektives Arbeitsinstrument, in dem der Tester seinen Arbeitsaufwand ablesen kann, insbesondere bei \u00c4nderung des Anforderungsdokuments.<\/p>\n Durch das RCT-Framework kann auf einfache Weise das neue Anforderungsdokument in das bestehende Projekt geladen werden. Die Differenzanalyse von RCT identifiziert die ge\u00e4nderten Anforderungen und setzt den Bearbeitungstand der mit ihnen verkn\u00fcpften Elemente zur\u00fcck. Hierdurch sinken in der Praxis zun\u00e4chst die Kennzahlen des Testprojekts. Des Weiteren wird die Teilmenge an betroffenen Testsequenzen und Assessments angezeigt, sodass eine gezielte und somit zeitsparende Revision dieser Elemente m\u00f6glich ist \u2013 stets mit dem Ziel, die urspr\u00fcnglichen Kennzahlen wieder zu erreichen bzw. zu \u00fcbertreffen (Abb. 13, siehe\u00a0PDF<\/a>).<\/p>\n Der vorliegende Betrag zeigt, wie es methodisch m\u00f6glich ist, zu einer h\u00f6heren Testabdeckung zu gelangen. Die Anwendung des hierf\u00fcr entwickelten Frameworks zur automatischen Anforderungspr\u00fcfung mittels Assessments unterst\u00fctzt den Anwender dadurch in der Praxis im hohen Ma\u00dfe. In Zukunft werden Testsequenzen mehr und mehr die Aufgabe \u00fcbernehmen, dass zu testende System ausreichend zu stimulieren, um die hohen geforderten Coverage-Werte zu erzielen. Die Pr\u00fcfung und Sicherstellung der Anforderungserf\u00fcllung erfolgt effizient durch die Assessments.<\/p>\n Zudem wurde gezeigt, dass auch das in der Norm geforderte Tracing tool-basiert und effizient unterst\u00fctzt werden kann. Die Anwendung des entsprechenden Frameworks erm\u00f6glicht bereits im laufenden Testprozess nicht nur eine Bewertung der funktionalen G\u00fcte, sondern Aussagen \u00fcber die Qualit\u00e4t des Tests als solches.<\/p>\n Die Kombination beider Ans\u00e4tze zeigt, wie schon heute ein moderner anwendungsbasierter Modelltest gestaltet sein kann.<\/p>\nIntegrierter Ansatz f\u00fcr den anforderungsbasierten Test<\/h2>\n
Automatische Testevaluierung mit Assessments<\/h2>\n
Anforderungsverfolgung und Darstellung der Ergebnisdaten<\/h2>\n
\nSind alle Bez\u00fcge hinterlegt, wird eine Berichts\u00fcbersicht bereitgestellt, die nicht nur alle geltenden Anforderungen zusammenfasst, sondern auch detaillierte Informationen \u00fcber die jeweiligen Testsequenzen und Assessments liefert \u2013 sowie Angaben zu deren Bearbeitungsfortschritt macht (Abb. 11, siehe\u00a0PDF<\/a>).<\/p>\nUmgang mit Anforderungs\u00e4nderungen<\/h2>\n
Zusammenfassung<\/h2>\n
\u00a0Literatur<\/h2>\n