Systemtest zur Qualifizierung – SYS.5 in Automotive SPICE®

Einführung 

Was ist ein System-Qualifizierungstest? Die Erwartung ist, dass Sie bereits Systemanforderungen haben. Ziel ist es daher, diese Anforderungen zu überprüfen und festzustellen, ob sie vollständig erfüllt und korrekt implementiert sind. 

Dieser Prozess ist die letzte Stufe des Tests und soll sicherstellen, dass das Produkt wie von der Entwicklungsorganisation beabsichtigt und vom Kunden erwartet funktioniert. Wenn der System-Qualifizierungstest nicht gut funktioniert, können Fehler unerkannt bleiben und die Kundenzufriedenheit sinkt. 

Systemtests umfassen normalerweise Umwelt-, Leistungs- und Dauertests. Die Testumgebung ist produktabhängig. Beispiele sind HIL (Hardware-in-the-Loop), Fahrzeugtests und Klimakammern. 

Da der Prozess kurz vor der Auslieferung durchgeführt wird, besteht eine enge Verbindung zum Projektmanagement (MAN.3), dem Konfigurationsmanagement (SUP.8), der Produktfreigabe (SPL.2) und natürlich der System-Anforderungsanalyse (SYS.2). 

Im Folgenden sind die wichtigsten Aspekte des System-Qualifizierungstests in Automotive SPICE® aufgeführt.  

• Was Sie brauchen, ist eine Teststrategie für die Systemqualifizierung. Wie alle Test- und Unterstützungsprozesse erfordert der System-Qualifizierungstest die Entwicklung und Festlegung einer Teststrategie. Vielleicht haben Sie für jede Teststufe eine separate Teststrategie. Es ist jedoch besser, eine alle Teststufen umfassende Strategie zu entwickeln und zu koordinieren. So werden alle Anforderungen abgedeckt und Redundanzen vermieden. Die Teststrategie sollte folgende Themen abdecken: 

1. das betreffende Testobjekt 
2. die Methoden zur Entwicklung von Testfällen und Testdaten (z. B. Entwicklung von Positiv-/Negativtests, Äquivalenzpartitionierung) 
3. eine Regressionsteststrategie, was in der Automotive SPICE®-Terminologie bedeutet, dass Sie die Durchführung eines erneuten Tests nach einer Fehlerbehebung oder einem Änderungsantrag definieren 
4. die Testumgebung 
5. die Testabdeckung in Bezug auf den Projektplan und den Freigabeplan 
6. Ein- und Ausstiegskriterien sowie Testunterbrechungskriterien 

Natürlich ist dieser Prozess stark mit dem Problemlösungsmanagement (SUP.9) verbunden, sodass Sie entweder die Teststrategie oder die Fehlermanagementstrategie für den Umgang mit fehlgeschlagenen Tests einsetzen können. 

Die Strategie umfasst auch die Definition der Abdeckungsziele auf der Grundlage der Lieferungsart. Hier besteht ein enger Zusammenhang mit dem Projekt- und Bedarfsplan.

Wenn Sie eine Teststrategie dokumentieren, können Teile davon generisch sein und in der internen Prozessbeschreibung und den Richtlinien behandelt werden. Auch hier definiert Automotive SPICE® nicht, wie und wo Sie Ihre Teststrategie dokumentieren. Die Dokumentation kann auf mehrere Dokumente verteilt werden.

Die Teststrategie sollte auch Ihren Ansatz zur Testautomatisierung abdecken. Generell kann man sagen, dass Testautomatisierung immer besser ist als manuelles Testen.Allerdings ist die Automatisierung mancher Tests zu teuer oder deren Testumgebung lässt dies nicht zu, wie zum Beispiel bei Fahrzeugmanövern.

• Auswahl der Testfälle. Dieser Prozess erfordert auch, dass für die verschiedenen Tests eine entsprechende Auswahl von Testfällen durchgeführt wird. Ziel und Erwartung ist, dass das System für die verschiedenen Auslieferungen auf Basis der oben genannten Teststrategie ordnungsgemäß getestet wird. 

Der Grundgedanke ist, dass für unterschiedliche Auslieferungen unterschiedliche Erwartungen gelten können. Für wichtige Auslieferungen könnten zum Beispiel alle implementierten Systemanforderungen vollständig abgedeckt sein. 

Bei kleineren Auslieferungen wird nur das Delta der seit der letzten Auslieferung umgesetzten Anforderungen getestet.

Natürlich müssen für diesen Ansatz die richtigen Testfälle gewählt werden. 

Eine andere mögliche Situation für die Auswahl von Testfällen wäre der Regressionstest, der Änderungsanträge und/oder Fehlerbehebungen abdeckt. Dazu werden Testfälle ausgewählt, die den Änderungsantrag oder den Fehler und die möglichen Auswirkungen abdecken. Das bedeutet, dass auch Abhängigkeiten von Anforderungen getestet werden, die von dem Änderungsantrag oder der Fehlerbehebung betroffen sein können. 

• Traceability und Konsistenz. Dieser Prozess erwartet auch die Nachverfolgbarkeit, die so genannte Traceability, zwischen Ihren Systemtestfällen und den Systemanforderungen. Die Traceability kann durch Hyperlinks wie in DOORS, durch spezifische Traceability-Tools wie Rectify, durch Traceability-Matrizen oder durch andere verwaltbare Mittel hergestellt werden, die von Ihrer Toollandschaft unterstützt werden. Zweck der Traceability besteht in der Unterstützung von: 

1. Konsistenzprüfungen, d. h. der Überprüfung auf Vollständigkeit und Korrektheit der Abdeckung der Systemanforderungen 
2. Auswirkungsanalyse (Impactanalyse) bei Änderungsanträgen oder Fehlern 
3. der Berichterstattung über die Erwartungen der Stakeholder und Klärung, welche Anforderungen getestet wurden (Abdeckungsbericht) 

Der zweite Teil dieses Aspekts betrifft die Konsistenz. 

Konsistenz kann nur per Review nachgewiesen werden, das aufzeigt, dass die Systemanforderungen vollständig und korrekt abgedeckt wurden. 

Wird diese Review ausgelassen, kann das zu unvollständigen oder fehlerhaften Systemtestfällen führen. Im schlimmsten Fall bleiben Mängel auch im System-Qualifizierungstest unbemerkt, da dieser Test anhand Ihrer Systemanforderungen durchgeführt wird. Bei fehlerhaften Systemanforderungen zeigt Ihr Test möglicherweise kein falsches Verhalten. 

Welchen Nutzen bietet der System-Qualifizierungstest?  

Diese Tests werden durchgeführt, nachdem das System aus Hardware, Software, Mechanik und gegebenenfalls anderen Komponenten zusammengesetzt wurde. Sie bestätigen, dass das gesamte System wie erwartet funktioniert und die Systemanforderungen erfüllt. 

Was beinhaltet der System-Qualifizierungstest? 

• Die Systemteststrategie für das Testen des gesamten Systems wird festgelegt (BP1). So haben alle Beteiligten (Tester, Testmanager, Requirements Engineers, Projektmanager usw.) ein gemeinsames Verständnis der durchzuführenden Arbeit (BP1). 
• Änderungen am System dürfen keine negativen Nebeneffekte auf bereits erfolgreich getestete Anforderungen haben. Zu diesem Zweck muss eine Regressionsstrategie erstellt werden (BP1). 
• Die Tests zum Nachweis der Umsetzung der Systemanforderungen sind detailliert zu spezifizieren (BP2). 
• Die Auswahl der auszuführenden Testfälle erfolgt in Übereinstimmung mit der Teststrategie, der Regressionsstrategie und dem Freigabeplan (BP3). Die Tests werden durchgeführt und die Ergebnisse protokolliert (BP4). 
• Es muss eine bidirektionale Traceability zwischen Systemanforderungen, Testfällen und Testergebnissen bestehen (BP5). Die Systemanforderungen und die Testfälle müssen konsistent sein (BP6). Konsistenz setzt nicht nur voraus, dass die Links der Traceability korrekt und vollständig sind, sondern auch, dass die Testfälle in Bezug auf die Anforderungen korrekt sind. Das wird in der Regel durch ein Review sichergestellt. 
• Ein Testergebnisbericht wird erstellt und den zuständigen Personen, etwa Projektleiter und Kunden, zur Verfügung gestellt (BP7). 

Bidirektionale Traceability zwischen Systemanforderungen und System-Qualifizierungstest 

Erfahrungen, Probleme und Tipps

• Grundsätzlich umfasst der System-Qualifizierungstest (SYS.5) dieselben Aktivitäten wie der Software-Qualifizierungstest (SWE.6). Der einzige Unterschied ist das zu testende Objekt. In der Praxis werden häufig beide Testprozesse auf der Zielhardware kombiniert. Das ist zulässig, solange nachgewiesen werden kann, dass die Systemanforderungen vollständig getestet wurden. 
• Der System-Qualifizierungstest ist eng mit der System-Anforderungsanalyse verbunden (SYS.2). Die Requirements Engineers entwickeln die Verifizierungskriterien, die ihr Fachwissen und Hinweise darauf enthalten, was bei der Entwicklung der Tests zu beachten ist. 
• Die Traceability zwischen Anforderungen und Tests ist unerlässlich, um die Abdeckung der Anforderungen durch die Tests nachzuweisen und den Testfortschritt zu überwachen. Voraussetzung dafür ist eine automatisierte Traceability mit einem hochintegrierten Anforderungs- und Testtool. 
• Konsistenzprüfungen werden oft unterschätzt und schlecht umgesetzt. Hier sind Reviews erforderlich, mit denen überprüft wird, ob die Tests korrekt sind und die Anforderungen vollständig abgedeckt werden. 
• Bei Projekten mit Plattformsystemen sollten die Tests für Plattformanforderungen und die für projektspezifische Anforderungen nahtlos aufeinander abgestimmt werden.  

Sie interessieren sich für Automotive SPICE®?  Dann sind unsere Automotive SPICE® Schulungen genau das Richtige für Sie!  

Über den Autor 

Bhaskar Vanamali ist seit fast 20 Jahren im Bereich Prozessverbesserung tätig und ehemaliger Sekretär des Arbeitskreises 13 des VDA QMC.Er ist Principal Assessor und Trainer für Automotive SPICE® und hat bereits über 140 Assessments durchgeführt und mehr als 250 Assessoren ausgebildet. 

Das könnte Sie auch interessieren

Ressourcenleitfaden zum System-Qualifizierungstest (SYS.5)

Dienstleistungen für Automotive SPICE und Erweiterungen