ESE Fachwissen
Einführung eines ganzheitlichen Testmanagements
Autoren: Fred Härtelt und Dr. Klaus Herz, Bosch Engineering
Beitrag - Embedded Software Engineering Kongress 2015
Testen und Testmanagement in der Steuergeräte-Entwicklung werden durch die zunehmende Komplexität und Systemvarianz immer wichtiger, um einerseits eine kostenoptimierte Produktentwicklung ohne technische Schulden durchführen zu können und um anderseits Software-Qualitätsrisiken frühzeitig zu erkennen. Beide Ziele werden durch die Einführung eines ganzheitlichen Testmanagements adressiert, das in Einklang mit den gängigen Normen und Standards (z.B. ISO/IEC/IEEE 29119, ISO 26262, ASPICE) steht.
Ausgangslage
Die Bosch Engineering GmbH bietet als Systementwicklungspartner der Automobilindustrie Entwicklungsdienstleistungen für den Antriebsstrang, Sicherheits-, Komfort- sowie E/E-Systeme vom Konzept bis zur Serie. Die vielfältigen Einsatzgebiete des Unternehmens reichen von Personenkraftwagen über Nutzfahrzeuge, Off-Highway-Anwendungen bis hin zu Schienen- und Freizeitfahrzeugen, Schiffen und industriellen Anwendungen. Die Projektlandschaft des Bereichs Powertrains Systems ist gekennzeichnet durch eine große Varianz von Systemen, die eine hohe Komplexität in der System-, Softwareentwicklung und Datenapplikation aufweisen. Dies bedeutet wiederum, dass ein angepasstes Vorgehen in den Projekten zu definieren ist, um Tests sowie das Testmanagement adäquat abdecken zu können. Erreicht wird dies durch die Anwendung eines "Drei-Säulen-Modells", welches als ganzheitlicher Ansatz in der Organisation implementiert wird. Dieses Modell ist so konzipiert, dass es universelle Rahmenbedingungen für die verschiedenen relevanten Aspekte berücksichtigt (u.a. Frontloading, gesetzliche und interne Vorgaben, Organisationsstruktur, verfügbare Testmethoden und Testsysteme, …) und damit eine klare Orientierung für ein produktbasiertes Tailoring bietet.
Das "Drei-Säulen-Modell"
Ein ganzheitliches Testmanagement zeichnet sich durch mehrere Aspekte aus, um alle relevanten Tests in einem Projektzyklus abdecken zu können. Die erste Säule ist die Teststrategie, in der festgelegt wird, wie im Projekt konkret vorgegangen wird. Die zweite Säule bildet eine geeignete Testmethodik, die auf der Teststrategie aufbaut. Die Testmethodik beinhaltet vor allem eine Auswahl von verschiedenen Testverfahren und Testsystemen. Die dritte Säule ist das Testmanagement in den Projekten. Die zentrale Rolle nimmt dabei der Testmanager ein. Er ist verantwortlich für die Erstellung einer geeigneten Teststrategie und Testmethodik für das jeweilige Projekt.
Säule I - die Teststrategie
Die projektspezifische Auswahl einer geeigneten Teststrategie ist entscheidend um Aufwand-Nutzen optimierte Tests – bezogen auf den jeweiligen Kontext – ableiten zu können. Daher wurde eine entsprechende generische Teststrategie konzipiert, die für die verschiedensten Steuergeräteanwendungen und Projektkonstellationen angepasst werden kann. Sie ist angelehnt an die „Organizational Test Strategy“ nach ISO/IEC/IEEE 29119-1 und definiert z.B. Testmethoden und Prüfverfahren. Eine wichtige Grundlage für die Auswahl der Teststrategie ist die Festlegung der Testziele. Diese wurden generisch wie folgt definiert:
a) Testziel 1: Sicherstellung der vertraglich zugesicherten funktionalen Anforderungen
b) Testziel 2: Nachweis der Einhaltung der vereinbarten Sicherheitsziele
c) Testziel 3: Nachweis der Einhaltung der festgelegten Randbedingungen (z.B. Umsetzung der Qualitätsanforderungen)
Aus diesen Testzielen werden konkrete Testkriterien in Bezug auf die jeweilige Teststufe (z.B. System, Integration, Software …) abgeleitet. Die Testkriterien wiederum führen dazu, dass eine Testmethodik ausgewählt und eine Testplanung gemäß der Teststrategie durchgeführt wird.
Säule II - die Auswahl einer geeigneten Testmethodik
Die Auswahl einer geeigneten Testmethodik beinhaltet konkrete Testverfahren, die zur jeweiligen Teststufe zugeordnet sind. Sinnvolle Testverfahren können z.B. White-Box oder Black-Box Testverfahren sein, welche projektbezogen ausgewählt werden und einen Einfluss auf die Wahl eines geeigneten Testsystems haben [1]. Während auf Software-Ebene eher PC-basierte Testsysteme verwendet werden, kommen auf Systemebene vor allem Hardware-in-the-Loop (HIL) Simulatoren oder Fahrzeuge zum Einsatz. Aber auch Low-Cost-Testsysteme [2] können eine denkbare Alternative sein, um in einer frühen Entwicklungsphase umfangreiche Prüfungen durchführen zu können.
In Abbildung 1 (siehe PDF) wird das Testziel 2 ("Der Nachweis der Einhaltung der vereinbarten Sicherheitsziele") einer Teststufe ("System") zugeordnet. Die Sicherheitsziele einer Komponente sollen damit abgeprüft werden. Relevante Testverfahren sind in diesem Beispiel die Anwendung eines anforderungsbasierten Tests und Tests mittels Fehlereinspeisung ("Fault Injection Test"). Konkret werden die Sicherheitsziele auf Sicherheitsanforderungen heruntergebrochen und mit verschiedenen Black-Box-Testfällen am Fahrzeug oder HIL-Simulator getestet. Die Anforderungen der Norm zur Funktionalen Sicherheit (ISO 26262-4) werden dadurch auf Systemebene mit der jeweiligen Sicherheitseinstufung (ASIL) adressiert.
Jedem Testziel kann somit mindestens eine Teststufe bzw. mehrere Teststufen, Prüfbereiche, Testverfahren und Testsysteme zugeordnet werden. Die Auswahl der Testmethodik stellt einerseits sicher, dass alle Testziele darüber abgedeckt werden – andererseits ist an dieser Stelle der Projektkontext entscheidend, um zielgenau die geeigneten Testverfahren und Testsysteme auszuwählen zu können.
Säule III - der Testmanager
Der Einsatz eines Testmanagers im Projekt ist entscheidend, um eine angepasste Teststrategie und Testmethodik ableiten zu können. Er wählt bewusst aus einem Baukasten der generischen Teststrategie die Elemente aus, die für das Projekt benötigt werden. Der Testmanager ist außerdem für die Testplanung, die Überwachung aller Testaktivitäten und Reviews, die Analyse und Berichterstattung sowie für das Coaching der Projektmitglieder verantwortlich, um diese beim Thema Testverfahren und Testsysteme zu sensibilisieren. Er stellt die Durchführung und Auswertung aller relevanten Tests sicher und erteilt abschließend eine Freigabeempfehlung.
Neben der bereits vorhandenen Projekterfahrung und spezifischem Wissen über die Fahrzeugdomänen ist zudem die fachliche Tiefe des Testmanagers ein wichtiger Erfolgsfaktor. Ein entsprechendes Ausbildungskonzept stellt sicher, dass die erforderlichen Kompetenzen zu den Themen Testen und Testmanagement vorhanden sind – z.B. über verschiedene Schulungen über die Rolle an sich, die Testverfahren und Testsysteme mit einschließt.
In verschiedensten Projekten im Unternehmen wurde diese Rolle bei Bosch Engineering GmbH bereits angewandt. Positiv bewertet wurde vor allem die frühe Klärung von Anforderungen an das Testen (Stichwort "Frontloading") und eine kontinuierliche Überwachung der Testaktivitäten im Projekt. Auch die Rückmeldung von Kundenseite - einen definierten Ansprechpartner zum Thema Test und Testmanagement zu haben – wurde als sehr positiv bewertet.
Zusammenfassung
Die Themen Testen und Testmanagement gewinnen durch die zunehmend komplexer werdende Projektlandschaft und verschiedensten Kundenanforderungen stetig an Bedeutung. Der hier vorgestellte Ansatz eines ganzheitlichen Testmanagements mit dem Drei-Säulen-Modell ist ein zielgerichtetes Vorgehen, um die gewünschten Testziele zu erreichen.
Literatur
[1] Fred Härtelt: "Entwicklung eines Praktikums für White-Box Tests mit Hilfe eines Testwerkzeugs" (Technische Universität Dresden, Fakultät Informatik, Juli 2003)
[2] Dr. Petra Langjahr, Dr. Stefan Müller: "Muss es immer ein HIL-System sein?" (Embedded Software Engineering Kongress, Dezember 2011)
Test, Qualität & Debug - unsere Trainings & Coachings
Wollen Sie sich auf den aktuellen Stand der Technik bringen?
Dann informieren Sie sich hier zu Schulungen/ Seminaren/ Trainings/ Workshops und individuellen Coachings von MircoConsult zum Thema Test, Qualität & Debug.
Training & Coaching zu den weiteren Themen unseren Portfolios finden Sie hier.
Test, Qualität & Debug - Fachwissen
Wertvolles Fachwissen zum Thema Test, Qualität & Debug steht hier für Sie zum kostenfreien Download bereit.
Fachwissen zu weiteren Themen unseren Portfolios finden Sie hier.