ESE Fachwissen
Absicherung von Testsystemen
Autor: Kristian Trenkel, iSyst Intelligente Systeme GmbH
Beitrag - Embedded Software Engineering Kongress 2017
Dieser Beitrag behandelt die Anforderungen an Testsysteme aus Sicht der Funktionalen Sicherheit am Beispiel von HIL-Testsystemen. Dabei wird der Standard ISO 26262 betrachtet. Aus den Betrachtungen ergeben sich Anforderungen an die Genauigkeit und Verlässlichkeit der Testsysteme. Hierfür werden beispielhaft analoge Ein- und Ausgänge der Testsysteme betrachtet. Einerseits werden die Untersuchungsergebnisse über die Kalibrierbarkeit verschiedener Testsysteme sowie die Möglichkeiten der automatisierten Kalibrierung und des automatisierten Abgleiches sowie der automatisierte Selbsttest dargestellt. Auf der anderen Seite soll dieser Beitrag zur Diskussion über weitergehende Anforderungen an Testsysteme für den Test sicherheitskritischer Systeme anregen.
Im Bereich der Automobilindustrie werden immer mehr sicherheitskritische Funktionen, wie zum Beispiel Notbremsassistent, Spurhalteassistent und autonomes Fahren, entwickelt und in Fahrzeuge integriert. Zur Entwicklung und zum Test dieser Systeme sind die Vorgaben der ISO 26262 [1] zu beachten. Dabei stellt diese Norm nicht nur Anforderungen an den Entwicklungsprozess und dessen Tools, sondern auch an den Test einschließlich Testsysteme und Test-Tools.
Es gibt für die Test-Tools, wie allgemein für die Softwaretools, detaillierte Anforderungen, welche im Rahmen einer Toolqualifizierung zu bewerten sind. Bei den Testsystemen (im Sinne von Hardware-Systemen), wie zum Beispiel einem HIL-System, sind nur sehr wenige Angaben (Punkt 8.4.1.5 des Teil 4) in der Norm zu finden. Daher herrschen in der Praxis verschiedene Ansichten über die notwendigen Maßnahmen zur Absicherung von Testsystemen vor. Dies beginnt bei einfachen Inbetriebnahmetests und geht bis zu definierten Wartungsprozeduren und Wartungsintervallen. Die Genauigkeit der (meist analogen) Schnittstellen der Testsysteme spielt dabei nur eine untergeordnete Rolle.
In der Praxis zeigt sich aber, dass nicht nur die prinzipielle Funktion des Testsystems sichergestellt werden muss. Es muss auch die Genauigkeit des Systems, wie es für andere Messsysteme üblich ist, sichergestellt werden. Werden z. B. analoge Ein- und Ausgänge für die Simulation von Sensorwerten oder die Messung von Strömen verwendet, sind genaue Vorgaben absolut notwendig, da es für sicherheitskritische Funktionen meist exakte Anforderungen an Fehlererkennungsschwellen und Fehlererkennungszeiten gibt. Daher sind die Kalibrierung und der anschließende Abgleich der Schnittstellen eines Testsystems sinnvoll und notwendig. Dieses Vorgehen ist aber bisher nicht üblich.
Stand der Technik
Hardware-in-the-Loop (HIL)-Testsysteme kommen in verschiedenen Bereichen der Entwicklung als Testumgebung zum Einsatz. Dabei werden das in Entwicklung befindlich eingebettete System in einer simulierten Umgebung betrieben und Tests ausgeführt.
Ein typischer Aufbau eines HIL-Testsystems, wie er häufig im Automobilbereich zum Einsatz kommt, ist in Abbildung 1 (s. PDF) zu sehen. Die zentrale Komponente ist der Echtzeitrechner, welcher das Simulationsmodell für die Umgebung des eingebetteten Systems in Echtzeit berechnet. Die eingesetzten Modelle werden dabei meist in Matlab/Simulink erstellt und mittels der integrierten Codegenerierung in ausführbare Programme übersetzt, welche auf dem Echtzeitrechner ausgeführt werden.
Für die Anbindung des Echtzeitrechners mit seinen IO-Schnittstellen (z. B. analoge Ausgänge, analoge Eingänge, digitale Ein- und Ausgänge und CAN-Schnittstellen) sind Komponenten zur Signalanpassung (z. B. Signalpegel oder Signalleistung) notwendig, welche unter dem Punkt Signalanpassung zusammengefasst sind. Dieser Teil ist für die hier dargestellte Problematik der Kalibrierung von großem Interesse, da diese Komponenten Einfluss auf die analogen Signalpfade haben.
Auf die Signalanpassung folgt die Anbindung des eingebetteten Systems, welches meist auch als Steuergerät bezeichnet wird. Hierbei werden meist die für die normale Funktion vorgesehenen Schnittstellen verwendet. An das Steuergerät sind weiterhin die Lasten angeschlossen. Zwischen dem eingebetteten System und den Lasten sind Baugruppen zur Fehlerinjektion eingefügt. Mit diesen Baugruppen ist das Schalten von verschiedenen Kurzschlüssen (z. B. Kurzschluss gegen Masse oder Kurzschluss gegen die Versorgungsspannung) sowie dem Abriss der Last möglich. Damit können Fehlerreaktionen getestet werden, welche sich in Feldversuchen oder bei Probefahrten im Automobilbereich nur schwer realisieren lassen.
Als letzte Komponente ist der Steuer-PC zu nennen. Dieser übernimmt die Steuerung des Echtzeitsystems während der Testausführung. Die Testfälle sind in Form von Skripten oder Modellen auf dem Steuer-PC ausführbar hinterlegt. Weiterhin sind meist Schnittstellen zu den Bussystemen (z. B. CAN, FlexRay oder Ethernet) am Steuer-PC vorhanden, um Zugriff auf das eingebettete System während der Tests zu haben.
In Abb. 2 (s. PDF) ist ein typisches HIL-Testsystem in 19" Bauweise zu sehen.
Innerhalb der verschiedenen Teststufen, wie sie zum Beispiel im V-Modell beschrieben sind, wird der HIL-Test als Softwaretest oder Systemtest eingestuft. Dies bedeutet, dass das Verhalten der Software mit Bezug auf die Anforderungen getestet wird. Dies umfasst bei sicherheitskritischen Systemen auch alle Sicherheitsfunktionen, welche in Software umgesetzt sind. In der Praxis sind dabei auch die hardwarebasierten Sicherheitsfunktionen mit einbezogen, da die reale Hardware für den Test zum Einsatz kommt.
Daraus ergibt sich, dass das Testsystem für den Test sicherheitsrelevanter Systeme tauglich sein muss. Die einschlägigen Normen, wie die ISO26262, geben dabei leider nur wenige Aussagen, was dies bedeutet und wie dies nachgewiesen werden kann.
In der ISO 26262 ist unter Punkt 8.4.1.5 des Teil 4 zu lesen:
"The test equipment shall be subject to the control of a monitoring quality system." [2]
In der Praxis gehen die Umsetzungen zu diesem Punkt weit auseinander. Einerseits werden Systeme nach einmaliger Prüfung bei der Inbetriebnahme als dauerhaft tauglich erachtet. Auf der anderen Seite werden zyklische Wartung oder sogar Prüfungen vor jeder Testdurchführung vorgeschrieben.
Ein weiterer Aspekt, welcher zu beachten ist, ist die Genauigkeit mit den die sicherheitsrelevanten Funktionen zu testen sind. Beispielsweise werden häufig Schwellwerte von analogen Signalen (z. B. von Sensoren) verwendet, um einen Fehler zu erkennen und eine Fehlerreaktion auszulösen. Heute am Markt verfügbare HIL-Systeme besitzen meist keine offizielle Möglichkeit zur Kalibrierung bzw. zum Abgleich der analogen Kanäle.
Problemstellung
Aus den im vorangegangenen Kapitel Stand der Technik dargestellten Punkten ergeben sich Problemstellungen für die Konstruktion und den Einsatz von HIL-Testsystemen für den Test sicherheitsrelevanter Systeme und Funktionen.
Im Rahmen dieser Arbeit soll der Fokus auf der Genauigkeit und damit der Verlässlichkeit der analogen Ein- und Ausgänge eines solchen Systems liegen. Dies ist vor allem in Bezug auf den Test von Fehlererkennungen von Sicherheitsfunktionen relevant.
Ein typischer Signalpfand eines analogen Eingangs des Testsystems, wie er in Abb. 3 (s. PDF) dargestellt ist, soll als Beispiel für die Problemstellung dienen. Analoge Eingänge dienen meist der Messung von Ansteuersignalen des zu testenden eingebetteten Systems.
Das analoge Signal wird dabei zuerst über die Signalanpassung geführt, welche mittels Operationsverstärkern die Signalpegel zwischen eingebetteten System und Echtzeitsystem anpasst. Weiterhin können Filter in den Signalpfad eingefügt werden, um Störungen aus dem System zu minimieren. Im Anschluss wird das Signal auf den analogen Eingang des Echtzeitsystems gelegt, welches aus einem Eingangsfilter und einem Analog-Digital-Wandler (ADC) besteht. Dabei sind alle Teile der Signalkette mit Fehlern behaftet. Zum Beispiel besitzen die Operationsverstärker Offset- und Anstiegsfehler. Dies gilt ebenfalls für den ADC.
Je nach verwendetem Echtzeitsystem stehen mehr oder weniger Angaben zur Genauigkeit der Analogkanäle zur Verfügung. Eine Kalibrierung bzw. ein Abgleich ist ab Werk nur für wenige IO-Karten verfügbar bzw. vorgesehen.
Dies stellt für den Test sicherheitsrelevanter Systeme ein großes Problem dar.
Untersuchung zur Kalibrierung und zum Abgleich von HIL-Systemen
Basierend auf dem in Kapitel Problemstellung dargestellten Signalpfad wurden im Rahmen der Arbeit [3] Untersuchungen zur Kalibrierbarkeit und Abgleichbarkeit von HIL-Testsystemen auf Basis verschiedener Echtzeitsysteme durchgeführt.
Es kamen dabei ein Echtzeitsystem der Firma dSPACE mit der analogen Eingangskarte DS2004 [4] sowie ein Echtzeitsystem auf Basis des µTCA Standards der Firma N.A.T. mit der analogen Eingangskarte TPMC554 [5] der Firma TEWS zum Einsatz.
Im ersten Schritt wurden anhand der Datenblätter die verfügbaren Angaben zur Genauigkeit ermittelt. Dabei zeigte sich, dass die Angaben für die DS2004 umfangreich sind. Es werden neben Angaben zum Anstiegs- und Offset-Fehler auch Angaben über die Temperaturdrift und Alterung getroffen. Nachteilig ist, dass die Karte keinerlei Möglichkeit zur hardwarebasierten Kalibrierung bietet und diese ab Werk auch nicht kalibriert ist.
Für die TPMC554 ist nur ein maximaler Gesamtfehler der Messung angegeben. Dafür ist die Karte ab Werk kalibriert und kann auch durch den Hersteller kalibriert werden. Weiterhin besteht die Möglichkeit, Kalibrierfaktoren für Anstieg- und Offset-Fehler an die Hardware der Karte zur Laufzeit zu übergeben.
Im Rahmen der Arbeit wurde der tatsächliche Fehler der beiden Karten und deren zeitliche Stabilität mittels einer Spannungsquelle und eines kalibrierten Multimeters (Fluke 8845A) ermittelt. Dabei zeigte sich, dass die vermessenen Karten weit innerhalb der angegebenen Fehlerschranken lagen, und innerhalb des Untersuchungszeitraumes von einem halben Jahr konnte auch keine signifikante Abweichung durch Alterung ermittelt werden.
Parallel dazu wurde die Signalanpassung in Form der analogen Signalkonditionierungskarte [6] der Firma iSyst untersucht. Der Signalpfad dieser Karte besteht aus einem Eingangs-Operationsverstärker, einem Filterbaustein und einem Ausgangs-Operationsverstärker. Es wurden dazu Messreihen mit definierten Eingangsspannungen, welche mit dem Multimeter Fluke 8845A gemessen wurden, durchgeführt und jeweils die Ausgangsspannung bestimmt. Es zeigte sich, dass der Gesamtfehler bei +/- 1 % lag. Zum Beispiel ergab eine Eingangsspannung von 9,9858 V eine Ausgangsspannung von 10,064 V, was einen Fehler von -0,785 % ergibt.
Durch nähere Untersuchungen konnte gezeigt werden, dass ein Hauptteil des Fehlers durch einen Offset-Fehler der Operationsverstärker (OP) verursacht wurde, welcher durch einen variablen Widerstand in der Beschaltung des Operationsverstärkers weitgehend eliminiert werden konnte. In der späteren Entwicklung wurde der OP durch einen Typ mit deutlich geringerem Offset ersetzt.
Weiterhin wurde die Stabilität des Gesamtfehlers in Bezug auf die Temperatur und die Zeit bestimmt. Entsprechend der Angaben des Datenblattes des Operationsverstärkers ergab sich ein Temperatureinfluss von < 1 % im Bereich von 0 °C – 40 °C. Auch die Alterungseffekte konnten in Bezug auf die Messdauer von 6 Monaten vernachlässigt werden.
Als letztes wurde das Systemverhalten eines HIL-Systems von iSyst [7] mit einem dSPACE-System als Echtzeitsystem untersucht. Es wurde dafür eine Eingangsspannung direkt am Pin des Steuergerätesteckers angelegt und die Messung des Echtzeitsystems ausgewertet. Damit konnten Einflüsse der Verdrahtung des Systems bestimmt werden. Wie sich zeigte, hat die Verdrahtung des Systems einen relevanten Einfluss auf die Messungen. Bei genauerer Untersuchung konnten die Einflüsse aber auf Störungen durch benachbarte Signale zurückgeführt werden, welche im Folgenden beseitigt werden konnten.
Zusammenfassend kann festgestellt werden, dass eine Kalibrierung und ein Abgleich der einzelnen Komponenten schon eine sehr große Verbesserung erbringen. Um aber eine Verlässlichkeit aus Sicht der Schnittstelle des eingebetteten Systems zu gewährleisten, wurde eine Kalibrierung und ein Abgleich beginnend am Steuergerätestecker für notwendig befunden. Dies ist manuell durchführbar, aber mit einem hohen Zeitaufwand verbunden. Aus diesem Grund wurde eine weitgehende Automatisierung des Prozesses angestrebt.
Erarbeitung eines Konzeptes zur teil-automatisierten Kalibrierung eines HIL-Testsystems
Als Ausgangspunkt für die Betrachtung diente der in Kapitel Problemstellung beschriebe Signalpfad. Da das angestrebte Konzept möglichst für alle Echtzeitsysteme und IO-Karten in gleicher Weise funktionieren soll, wurde entschieden, den Abgleich in der Software also im Simulationsmodell (Matlab/Simulink) durchzuführen. Daraus ergibt sich die Notwendigkeit, auch den Kalibrier- und Abgleichsablauf in Matlab bzw. Simulink zu realisieren. Es wurde eine Realisierung in Matlab gewählt. Der resultierende Aufbau des Systems ist in Abb. 4 (s. PDF) zu sehen.
Als Signalquelle wurde eine einstellbare Spannungsquelle benötigt. Für eine einfache Integration mit Matlab wurde eine Ansteuerung über eine serielle Schnittstelle (RS232) gewählt. Diese kommt auch bei der Ansteuerung des Multimeters Fluke 8845A zum Einsatz. Es wurde eine selbst entwickelte Baugruppe verwendet, welche eine Spannung zwischen -15 V und + 15 V ausgeben kann.
Diese Spannung wird nun mittels des Multimeters Fluke 8845A gemessen und über eine serielle Schnittstelle durch Matlab ausgelesen. Damit ist der Wert der Referenzspannung bekannt. Im Folgenden wird der gemessene Wert aus dem Inbetriebnahme-Modell des Echtzeitsystems mittels Matlab gelesen. Damit sind der Eingangs- und der Ausgangswert bekannt. Es kann die Abweichung bestimmt werden.
Für den gesamten Kalibrier- und Abgleichprozess wird zuerst der Offset-Fehler bei 0V bestimmt. Nun wird der Anstiegsfehler in einem einstellbaren Wertebereich mit einer wählbaren Anzahl von Stützpunkten (bis zu 16 Stützpunkte im Wertebereich von -15 V bis +15 V) bestimmt und die Korrekturfaktoren berechnet. Diese werden in Form eines Protokolls und einer MAT-Datei abgespeichert. Das Protokoll dient der Dokumentation.
Mit Hilfe der MAT-Datei können nun die Korrekturfaktoren automatisch in das Simulink-Umgebungsmodell mit Hilfe des dafür entwickelten Blocksets importiert werden. Es ist dabei nur die Auswahl der MAT-Datei innerhalb von Simulink notwendig.
In Abb. 5 (s. PDF) ist die Oberfläche des Matlab-Toolings für die Durchführung der Kalibrierung und die Bestimmung der Abgleichswerte zu sehen.
In Abb. 6 (s. PDF) ist das Blockset zusehen, welches für den Abgleich der Analogkanäle verwendet wird. Dabei ermöglicht das Blockset die Korrektur des Offset- und des Anstiegsfehlers.
Weiterhin kann der Prozess auch für die Kalibrierung und den Abgleich analoger Ausgänge verwendet werden. In diesem Fall dient das Echtzeitsystem als Signalquelle, und die Ausgangsspannung wird mittels des Multimeters Fluke 8845A am Pin des Steuergerätesteckers gemessen. Die ermittelten Korrekturfaktoren können mittels des beschriebenen Simulink-Blocksets in das Simulationsmodell übernommen werden.
Evaluierung des prototypischen Systems
Für die Evaluierung des Kalibrier- und Abgleichprozesses wurde ein HIL-System mit dSAPCE-Echtzeitsystem und einer DS2004 IO-Karte verwendet. Als erstes wurde die Abweichung der analogen Kanäle in Form des Kalibrierprozesses bestimmt. Das Ergebnis ist beispielhaft für einen Kanal in Abb. 7 (s. PDF) zu sehen. Im Anschluss wurden die errechneten Korrekturfaktoren in das Simulink-Modell übernommen und die Abweichung neu bestimmt. Das Ergebnis ist beispielhaft für den selben Kanal in Abb. 8 (s. PDF) zu sehen.
Wie den Werten aus den Abbildungen zu entnehmen ist, konnte eine Verringerung der Abweichung und damit des Messfehlers von ca. +/- 0,8 % auf ca. +/- 0,15 % erreicht werden. Weitere Messungen nach einigen Betriebsstunden des Systems haben gezeigt, dass die erreichte Genauigkeit erhalten bleibt. Es sind dabei weiterführende Untersuchungen bezüglich der zeitlichen Stabilität und der Umwelteinflüsse (vor allem der Temperatur) durchzuführen.
Weiterentwicklung zu automatisierten Selbsttest
Auf Basis der gewonnenen Erkenntnisse erfolgt eine Weiterentwicklung zu vollautomatisierten Abgleich und vollautomatisierten Selbsttest. Dabei kann die Messung nicht wie bei teil-automatisierten Kalibrierung am Steuergerätestecker erfolgen. Für die vollständige Automatisierung ist es nötig, die Signale innerhalb des HIL-Systems zu messen. Dies erfolgt über eine eigens integrierte, hochgenaue Messkarte, welche über die vorhandene Fehlerinjektionseinheit mit allen Messkanälen des HIL-Systems verbunden wird.
Damit ist es möglich, vor jedem qualitätsrelevanten Test das System automatisiert zu prüfen und damit die Zuverlässigkeit des Testsystems sicher zu stellen.
Zusammenfassung
Im Rahmen dieser Arbeit konnte die Möglichkeit der Kalibrierung und des Abgleiches von HIL-Testsystemen weitreichend untersucht werden. Es konnte gezeigt werden, dass eine Kalibrierung und ein Abgleich möglich und sinnvoll sind. Vor allem in Bezug auf den Test sicherheitskritischer Systeme und deren Schwellwerte für Fehlerreaktionen ist eine verlässliche analoge Messung für ein Testsystem unabdingbar.
Mit Hilfe des erarbeiteten Prozesses und der zugehörigen Komponenten und Tools können die Kalibrierung und der Abgleich weitgehend automatisiert durchgeführt werden. Durch die Realisierung des Abgleichs im Simulink-Modell ist eine Unabhängigkeit von spezifischen Echtzeitsystemen gewährleistet.
Durch die automatisierte Erstellung eines Kalibrierprotokolls ist eine prozesskonforme Dokumentation der Eigenschaften des Testsystems einfacher möglich.
Die Weiterentwicklung zum vollautomatisierten Selbsttest ermöglicht eine zusätzliche Steigerung der Verlässlichkeit der Testsysteme. Weiterhin ist damit ein umfangreicher Nachweis der Genauigkeit des Testsystems bei jedem qualitätsrelevanten Test inklusive automatisierter Protokollierung möglich.
Quellenverzeichnis
|
[1] |
ISO, "ISO 26262:2011 Road vehicles - functional safety", International Standard ISO, Geneva, 2011. |
|
[2] |
ISO, "ISO26262:2011-4 Road vehicles: Functional safety- : Part 4: product development at the system level", International Standard ISO, Geneva, 2011. |
|
[3] |
M. A. Mushtaq, "THE REQUIREMENTS OF CALIBRATED COMPONENTS FOR HIL (HARDWARE-IN-THE-LOOP) TEST SYSTEMS AND ITS IMPLEMENTATION", Master’s thesis – Ernst-Abbe-Hochschule, Jena, 2015. |
|
[4] |
dSPACE, "DS2004 High-Speed A/D Board", dSPACE, 2017. [Online]. Available: https://www.dspace.com/de/gmb/home/products/hw/modular_hardware_introduction/i_o_boards/ds2004_high_speed_a_d_board.cfm. [Zugriff am 10 10 2017]. |
|
[5] |
TEWS, "TPMC554 32 /16 Channels of 16 bit D/A with FIFOs", TEWS, 2015. [Online]. Available: http://www.tews.com/products/ArticleGroup/TPMC/TPMC554.html. [Zugriff am 10 10 2017]. |
|
[6] |
iSyst Intelligente Systeme GmbH, "Testkomponenten", iSyst Intelligente Systeme GmbH, 2017. [Online]. Available: http://isyst.de/produkte/testkomponenten/. [Zugriff am 10 10 2017]. |
|
[7] |
iSyst Intelligente Systeme GmbH, "Hardware In The Loop Testsysteme", iSyst Intelligente Systeme GmbH, 2017. [Online]. Available: https://www.isyst.de/produkte/hil-testsysteme/. [Zugriff am 10 10 2017]. |
Autor
Dr.-Ing. Kristian Trenkel studierte ab 2001 an der FH Jena Elektrotechnik/Technische Informatik. Nach erfolgreichem Abschluss des Studiums als Dipl.-Ing. (FH) im Jahr 2005 folgte eine Tätigkeit als Entwicklungsingenieur im Bereich Industrieautomatisierung. Ab 2008 folgte die Arbeit als Testingenieur bei der iSyst GmbH in Verbindung mit einer kooperativen Promotion mit der TU Chemnitz, Professur SSE. Seit 2013 betreut Herr Trenkel die Forschungs- und Förderprojekte sowie die studentischen Arbeiten bei der iSyst GmbH. Der erfolgreiche Abschluss der Promotion erfolgte Ende 2015.
Automotive - unsere Trainings & Coachings
Wollen Sie sich auf den aktuellen Stand der Technik bringen?
Dann informieren Sie sich hier zu Schulungen/ Seminaren/ Trainings/ Workshops und individuellen Coachings von MircoConsult zum Thema Automotive/ Embedded- und Echtzeit-Softwareentwicklung.
Training & Coaching zu den weiteren Themen unseren Portfolios finden Sie hier.
Automotive - Fachwissen
Wertvolles Fachwissen zum Thema Automotive /Embedded- und Echtzeit-Softwareentwicklung steht hier für Sie zum kostenfreien Download bereit.
Fachwissen zu weiteren Themen unseren Portfolios finden Sie hier.