Safety assessment of automated vehicles using real-world driving scenarios
doctoral thesis
Automated Vehicles (AVs) have a great potential to change transport fundamentally by making it safer, by reducing travel time, and by increasing mobility and accessibility for all. The level of automation of these vehicles determines the extent to which the driver’s task is accomplished by the AV. With the increasing number of AVs entering the market, the level of automation of these vehicles is increasing. The increasing level of automation will cause a paradigm shift: traditionally, human drivers are responsible for the behavior of the vehicle, even if the vehicle is momentarily controlled by an Automated Driving System (ADS), but with increasing levels of automation, the human driver will no longer be solely responsible. So, the accountability and liability shift from the driver to the vehicle manufacturer, the operator
of the vehicle (fleet), and/or the (vehicle) authorities. Due to this paradigm shift, for higher levels of automation, it can no longer be assumed that the human driver intervenes whenever the ADS does not respond appropriately. To guarantee that these ADSs respond appropriately in nearly all situations, new methods for assessing ADSs are required. Scenario-based assessment is an approach for assessing AVs that is broadly supported by the automotive field. With a scenario-based assessment, the AV under test is subjected to many different test scenarios. These test scenarios resemble situations that may be encountered in real-world traffic, to see whether the AV responds appropriately to these scenarios. One of the main challenges with scenario-based assessment of an AV with a high level of automation is to come up with a set of test scenarios that provides enough confidence that the AV responds appropriately in nearly all situations. One popular approach is to use real-world data that contain scenarios from real-world traffic as a source to automatically generate test scenarios. This dissertation describes new methods for improving this data-driven scenario-based assessment of AVs. The first contribution of this dissertation is a comprehensive and operable definition of the term scenario in the context of scenario-based assessment of AVs. We define a scenario as a quantitative description of the relevant characteristics and activities and/or goals of the ego vehicle(s), the static environment, the dynamic environment, and all events that are relevant to the ego vehicle(s) within the time interval between the first and the last relevant event. A scenario category is defined as the qualitative counterpart of a scenario and can be regarded as an abstraction of a scenario. To enable a computer to store, communicate, interact with, and interpret scenarios, an Object-Oriented Framework (OOF) is proposed in which scenarios, scenario categories, and their building blocks are defined as classes of objects having attributes, methods, and relationships. The advantage of the OOF is that it promotes clarity, modularity, and reusability of the objects that constitute a scenario. The second contribution is a novel metric for quantifying the degree of completeness of the collected data that are used for the data-driven scenario-based assessment of AVs. The data are used to estimate unknown probability density functions (pdfs) of the important parameters that are used to describe scenarios. The proposed completeness metric is based on the expected approximation error, which is the discrepancy between the real pdf and the estimated pdf: a lowerapproximation error indicates a higher degree of completeness. The third contribution is a novel method for capturing scenarios of a specific scenario category from a data set. For example, the provided method can capture all cut-in scenarios from a data set. One of the benefits of the method is that characteristics of a scenario that are shared among different scenario categories need to be identified only once. As a result, the provided method is easily applied to a wide range of scenario categories, such that a wide variety of scenarios can be obtained from the data. The fourth contribution is the proposal of two complementary methods for generating test scenarios for AVs. The first method automatically determines the parameters that best describe the scenarios of a specific scenario category. The underlying, unknown pdf of the parameters is estimated and scenarios are generated by sampling parameter values from the estimated pdf. The second method enables the conditional sampling of parameter values, which can be used to, e.g., generate scenarios with predefined starting conditions. The benefits of the presented methods are that the generated scenarios are representative of real-world scenarios, they cover the actual variety found in real-world traffic, and they extend the variety found in the collected data. To measure the extent to which the generated scenarios indeed represent real-world scenarios while covering the actual variety found in real-world traffic, the novel Scenario Representativeness metric is proposed. The fifth contribution is the proposal of two novel methods for quantifying the risk of an AV. Both methods calculate the risk by combining the outcome of virtual simulations of scenarios generated using the aforementioned methods and the estimated likelihood of these scenarios. The first method quantifies the risk prospectively, i.e., before the actual deployment of the AV on public roads. The quantified risk supports the risk assessment activities of ISO 26262 and ISO 21448, the leading standards in automotive safety. These standards decompose the risk into three aspects: exposure, severity, and controllability. Whereas safety experts’ opinions are traditionally used to provide qualitative, subjective ratings for each of these three aspects, our proposed method computes these aspects in a data-driven, quantitative manner. The second method is the novel data-driven Probabilistic RISk Measure derivAtion (PRISMA) method, which is used to derive Surrogate Safety Measures (SSMs) that estimate the probability of a specific event (e.g., a crash) in real time. As opposed to existing SSMs, which are only applicable in specific types of scenarios, the PRISMA method can be used to derive multiple SSMs for different types of scenarios. The work presented in this dissertation thus makes a substantial contribution to the full integration of a scenario-based assessment for the type approval of AVs. This, in turn, brings us closer to the large-scale deployment of AVs on public roads.
Samenvatting NL:
Geautomatiseerde voertuigen (Automated Vehicle, AV) hebben een groot potentieel om het vervoer fundamenteel te veranderen door het veiliger te maken, de reistijd te verkorten en de mobiliteit en toegankelijkheid voor iedereen te vergroten. De mate van automatisering van deze voertuigen bepaalt in hoeverre de bestuurder de taak van het AV uitvoert. Met het toenemende aantal AV’s dat op de markt komt, neemt het niveau van automatisering van deze voertuigen toe. De toenemende mate van automatisering zal een paradigmaverschuiving veroorzaken: van oudsher zijn menselijke bestuurders verantwoordelijk voor het gedrag van het voertuig, zelfs als het voertuig tijdelijk wordt bestuurd door een geautomatiseerd rijsysteem (Automated Driving System, ADS), maar met toenemende mate van automatisering zal de menselijke bestuurder niet langer verantwoordelijk zijn. De verantwoordelijkheid en aansprakelijkheid verschuiven dus van de bestuurder naar de voertuigfabrikant of de exploitant van het voertuig of de voertuigvloot. Vanwege deze paradigmaverschuiving kan voor hogere automatiseringsniveaus niet langer worden aangenomen dat de menselijke bestuurder ingrijpt wanneer het ADS niet adequaat reageert. Om te garanderen dat een ADS in bijna alle situaties adequaat reageert, zijn nieuwe methoden nodig om deze systemen te beoordelen. De beoordeling van AV’s op basis van scenario’s is een door de automobielindustrie breed gedragen aanpak voor het beoordelen van AV’s. Bij een op scenario’s gebaseerde beoordeling wordt de te testen AV onderworpen aan veel verschillende testscenario’s. Deze testscenario’s lijken op situaties die zich in het echte verkeer kunnen voordoen, om te zien of het AV adequaat op deze scenario’s reageert. Een van de grootste uitdagingen bij deze op scenario’s gebaseerde beoordeling van AV’s met een hoge mate van automatisering is het bedenken van een set testscenario’s die voldoende zekerheid biedt dat het AV in bijna alle situaties adequaat reageert. Een populaire benadering is het gebruik van echte data die scenario’s van het echte verkeer bevatten als bron om automatisch testscenario’s te genereren. Dit proefschrift beschrijft nieuwe methoden voor het verbeteren van de datagedreven, scenariogebaseerde beoordeling van AV’s. De eerste bijdrage van dit proefschrift is een uitgebreide en bruikbare definitie van het begrip scenario in de context van scenariogebaseerde beoordeling van AV’s. We definiëren een scenario als een kwantitatieve beschrijving van de relevante eigenschappen en activiteiten en/of doelen van het (de) ego-voertuig(en), de statische omgeving, de dynamische omgeving en alle gebeurtenissen die relevant zijn voor het (de) ego-voertuig(en) binnen het tijdsinterval van de eerste en de laatste relevante gebeurtenis. Een scenariocategorie is gedefinieerd als de kwalitatieve tegenhanger van een scenario en kan worden beschouwd als een abstractie van een scenario. Om een computer in staat te stellen scenario’s op te slaan, te communiceren en te interacteren met scenario’s is een object georiënteerd raamwerk (Object-Oriented Framework, OOF) voorgesteld waarin scenario’s, scenariocategorieën en hun bouwstenen gedefinieerd zijn als klassen van objecten met attributen, methoden en relaties. Het voordeel van het OOF is dat het duidelijkheid, modulariteit en herbruikbaarheid van de objecten die een scenario vormen bevordert. De tweede bijdrage is een nieuwe maat voor het kwantificeren van de mate van volledigheid van de data die gebruikt worden voor de datagedreven, scenariogebaseerdebeoordeling van AV’s. De data worden gebruikt voor het schatten van onbekende kansdichtheidsfuncties (probability density function, pdf) van de belangrijke parameters die worden gebruikt om scenario’s te beschrijven. De voorgestelde volledigheidsmaat is gebaseerd op de verwachte schattingsfout, welke het verschil is tussen de echte pdf en de geschatte pdf: een lagere schattingsfout duidt op een hogere mate van volledigheid. De derde bijdrage is een nieuwe methode om scenario’s van een specifieke scenariocategorie uit een dataset te halen. De voorgestelde methode kan bijvoorbeeld invoegscenario’s uit een dataset halen. Een van de voordelen van de methode is dat kenmerken van een scenario die worden gedeeld met andere scenariocategorieën slechts eenmaal hoeven te worden geïdentificeerd. Hierdoor is de voorgestelde methode eenvoudig toepasbaar op een breed scala aan scenariocategorieën zodat een grote variëteit aan scenario’s uit de data kan worden verkregen. De vierde bijdrage is het voorstel van twee complementaire methoden voor het genereren van testscenario’s voor AV’s. De eerste methode bepaalt automatisch de parameters die de scenario’s van een specifieke scenariocategorie het beste beschrijven. De werkelijke onderliggende, onbekende pdf van de parameters wordt geschat en scenario’s worden gegenereerd door parameterwaarden te bemonsteren uit de geschatte pdf. De tweede methode maakt de voorwaardelijke bemonstering van de parameters mogelijk. Dit kan bijvoorbeeld worden gebruikt om scenario’s met vooraf gedefinieerde startvoorwaarden te genereren. De voordelen van de gepresenteerde methoden zijn dat de gegenereerde scenario’s representatief zijn voor echte scenario’s, dat ze de werkelijke variatie in het echte verkeer dekken en dat ze de variatie van de verzamelende data uitbreiden. Om te meten in hoeverre de gegenereerde scenario’s inderdaad echte scenario’s vertegenwoordigen en tegelijkertijd de werkelijke variatie in het echte verkeer dekken, wordt de nieuwe scenario representativiteit (Scenario Representativeness, SR) maat voorgesteld. De vijfde bijdrage is het voorstel van twee nieuwe methoden voor het kwantificeren van het risico van een AV. Beide methoden berekenen het risico door de uitkomst van virtuele simulaties van scenario’s die zijn gegenereerd met de bovengenoemde methoden te combineren met de geschatte waarschijnlijkheid van deze scenario’s. De eerste methode kwantificeert het risico prospectief, dus vóór de daadwerkelijke inzet van het AV op de openbare weg. Het gekwantificeerde risico ondersteunt de risicobeoordelingsactiviteiten van ISO 26262 en ISO 21448, de toonaangevende normen op het gebied van autoveiligheid. Deze normen splitsen het risico op in drie aspecten: blootstelling, ernst en beheersbaarheid. Waar traditioneel de meningen van veiligheidsexperts worden gebruikt voor kwalitatieve, subjectieve beoordelingen voor elk van deze drie aspecten, berekent onze voorgestelde methode deze aspecten op een datagedreven, kwantitatieve manier. De tweede methode is een nieuwe manier voor datagedreven probabilistische afleiding van risicostatistieken (Probabilistic RISk Metric derivAtion, PRISMA), die wordt gebruikt voor het afleiden van surrogate veiligheidsstatistieken (Surrogate Safety Metric, SSM) die in realtime de waarschijnlijkheid van een specifieke gebeurtenis (bijvoorbeeld een crash) schatten. In tegenstelling tot bestaande SSM’s, welke alleen toepasbaar zijn in specifieke soorten scenario’s, kan de PRISMA-methode worden gebruikt voor het afleiden van meerdere SSM’s voor verschillende soorten scenario’s. Het werk gepresenteerd in dit proefschrift levert dus een substantiële bijdrage aan de volledige integratie van een scenariogebaseerde beoordeling voor de typegoedkeuring van AV’s.
of the vehicle (fleet), and/or the (vehicle) authorities. Due to this paradigm shift, for higher levels of automation, it can no longer be assumed that the human driver intervenes whenever the ADS does not respond appropriately. To guarantee that these ADSs respond appropriately in nearly all situations, new methods for assessing ADSs are required. Scenario-based assessment is an approach for assessing AVs that is broadly supported by the automotive field. With a scenario-based assessment, the AV under test is subjected to many different test scenarios. These test scenarios resemble situations that may be encountered in real-world traffic, to see whether the AV responds appropriately to these scenarios. One of the main challenges with scenario-based assessment of an AV with a high level of automation is to come up with a set of test scenarios that provides enough confidence that the AV responds appropriately in nearly all situations. One popular approach is to use real-world data that contain scenarios from real-world traffic as a source to automatically generate test scenarios. This dissertation describes new methods for improving this data-driven scenario-based assessment of AVs. The first contribution of this dissertation is a comprehensive and operable definition of the term scenario in the context of scenario-based assessment of AVs. We define a scenario as a quantitative description of the relevant characteristics and activities and/or goals of the ego vehicle(s), the static environment, the dynamic environment, and all events that are relevant to the ego vehicle(s) within the time interval between the first and the last relevant event. A scenario category is defined as the qualitative counterpart of a scenario and can be regarded as an abstraction of a scenario. To enable a computer to store, communicate, interact with, and interpret scenarios, an Object-Oriented Framework (OOF) is proposed in which scenarios, scenario categories, and their building blocks are defined as classes of objects having attributes, methods, and relationships. The advantage of the OOF is that it promotes clarity, modularity, and reusability of the objects that constitute a scenario. The second contribution is a novel metric for quantifying the degree of completeness of the collected data that are used for the data-driven scenario-based assessment of AVs. The data are used to estimate unknown probability density functions (pdfs) of the important parameters that are used to describe scenarios. The proposed completeness metric is based on the expected approximation error, which is the discrepancy between the real pdf and the estimated pdf: a lowerapproximation error indicates a higher degree of completeness. The third contribution is a novel method for capturing scenarios of a specific scenario category from a data set. For example, the provided method can capture all cut-in scenarios from a data set. One of the benefits of the method is that characteristics of a scenario that are shared among different scenario categories need to be identified only once. As a result, the provided method is easily applied to a wide range of scenario categories, such that a wide variety of scenarios can be obtained from the data. The fourth contribution is the proposal of two complementary methods for generating test scenarios for AVs. The first method automatically determines the parameters that best describe the scenarios of a specific scenario category. The underlying, unknown pdf of the parameters is estimated and scenarios are generated by sampling parameter values from the estimated pdf. The second method enables the conditional sampling of parameter values, which can be used to, e.g., generate scenarios with predefined starting conditions. The benefits of the presented methods are that the generated scenarios are representative of real-world scenarios, they cover the actual variety found in real-world traffic, and they extend the variety found in the collected data. To measure the extent to which the generated scenarios indeed represent real-world scenarios while covering the actual variety found in real-world traffic, the novel Scenario Representativeness metric is proposed. The fifth contribution is the proposal of two novel methods for quantifying the risk of an AV. Both methods calculate the risk by combining the outcome of virtual simulations of scenarios generated using the aforementioned methods and the estimated likelihood of these scenarios. The first method quantifies the risk prospectively, i.e., before the actual deployment of the AV on public roads. The quantified risk supports the risk assessment activities of ISO 26262 and ISO 21448, the leading standards in automotive safety. These standards decompose the risk into three aspects: exposure, severity, and controllability. Whereas safety experts’ opinions are traditionally used to provide qualitative, subjective ratings for each of these three aspects, our proposed method computes these aspects in a data-driven, quantitative manner. The second method is the novel data-driven Probabilistic RISk Measure derivAtion (PRISMA) method, which is used to derive Surrogate Safety Measures (SSMs) that estimate the probability of a specific event (e.g., a crash) in real time. As opposed to existing SSMs, which are only applicable in specific types of scenarios, the PRISMA method can be used to derive multiple SSMs for different types of scenarios. The work presented in this dissertation thus makes a substantial contribution to the full integration of a scenario-based assessment for the type approval of AVs. This, in turn, brings us closer to the large-scale deployment of AVs on public roads.
Samenvatting NL:
Geautomatiseerde voertuigen (Automated Vehicle, AV) hebben een groot potentieel om het vervoer fundamenteel te veranderen door het veiliger te maken, de reistijd te verkorten en de mobiliteit en toegankelijkheid voor iedereen te vergroten. De mate van automatisering van deze voertuigen bepaalt in hoeverre de bestuurder de taak van het AV uitvoert. Met het toenemende aantal AV’s dat op de markt komt, neemt het niveau van automatisering van deze voertuigen toe. De toenemende mate van automatisering zal een paradigmaverschuiving veroorzaken: van oudsher zijn menselijke bestuurders verantwoordelijk voor het gedrag van het voertuig, zelfs als het voertuig tijdelijk wordt bestuurd door een geautomatiseerd rijsysteem (Automated Driving System, ADS), maar met toenemende mate van automatisering zal de menselijke bestuurder niet langer verantwoordelijk zijn. De verantwoordelijkheid en aansprakelijkheid verschuiven dus van de bestuurder naar de voertuigfabrikant of de exploitant van het voertuig of de voertuigvloot. Vanwege deze paradigmaverschuiving kan voor hogere automatiseringsniveaus niet langer worden aangenomen dat de menselijke bestuurder ingrijpt wanneer het ADS niet adequaat reageert. Om te garanderen dat een ADS in bijna alle situaties adequaat reageert, zijn nieuwe methoden nodig om deze systemen te beoordelen. De beoordeling van AV’s op basis van scenario’s is een door de automobielindustrie breed gedragen aanpak voor het beoordelen van AV’s. Bij een op scenario’s gebaseerde beoordeling wordt de te testen AV onderworpen aan veel verschillende testscenario’s. Deze testscenario’s lijken op situaties die zich in het echte verkeer kunnen voordoen, om te zien of het AV adequaat op deze scenario’s reageert. Een van de grootste uitdagingen bij deze op scenario’s gebaseerde beoordeling van AV’s met een hoge mate van automatisering is het bedenken van een set testscenario’s die voldoende zekerheid biedt dat het AV in bijna alle situaties adequaat reageert. Een populaire benadering is het gebruik van echte data die scenario’s van het echte verkeer bevatten als bron om automatisch testscenario’s te genereren. Dit proefschrift beschrijft nieuwe methoden voor het verbeteren van de datagedreven, scenariogebaseerde beoordeling van AV’s. De eerste bijdrage van dit proefschrift is een uitgebreide en bruikbare definitie van het begrip scenario in de context van scenariogebaseerde beoordeling van AV’s. We definiëren een scenario als een kwantitatieve beschrijving van de relevante eigenschappen en activiteiten en/of doelen van het (de) ego-voertuig(en), de statische omgeving, de dynamische omgeving en alle gebeurtenissen die relevant zijn voor het (de) ego-voertuig(en) binnen het tijdsinterval van de eerste en de laatste relevante gebeurtenis. Een scenariocategorie is gedefinieerd als de kwalitatieve tegenhanger van een scenario en kan worden beschouwd als een abstractie van een scenario. Om een computer in staat te stellen scenario’s op te slaan, te communiceren en te interacteren met scenario’s is een object georiënteerd raamwerk (Object-Oriented Framework, OOF) voorgesteld waarin scenario’s, scenariocategorieën en hun bouwstenen gedefinieerd zijn als klassen van objecten met attributen, methoden en relaties. Het voordeel van het OOF is dat het duidelijkheid, modulariteit en herbruikbaarheid van de objecten die een scenario vormen bevordert. De tweede bijdrage is een nieuwe maat voor het kwantificeren van de mate van volledigheid van de data die gebruikt worden voor de datagedreven, scenariogebaseerdebeoordeling van AV’s. De data worden gebruikt voor het schatten van onbekende kansdichtheidsfuncties (probability density function, pdf) van de belangrijke parameters die worden gebruikt om scenario’s te beschrijven. De voorgestelde volledigheidsmaat is gebaseerd op de verwachte schattingsfout, welke het verschil is tussen de echte pdf en de geschatte pdf: een lagere schattingsfout duidt op een hogere mate van volledigheid. De derde bijdrage is een nieuwe methode om scenario’s van een specifieke scenariocategorie uit een dataset te halen. De voorgestelde methode kan bijvoorbeeld invoegscenario’s uit een dataset halen. Een van de voordelen van de methode is dat kenmerken van een scenario die worden gedeeld met andere scenariocategorieën slechts eenmaal hoeven te worden geïdentificeerd. Hierdoor is de voorgestelde methode eenvoudig toepasbaar op een breed scala aan scenariocategorieën zodat een grote variëteit aan scenario’s uit de data kan worden verkregen. De vierde bijdrage is het voorstel van twee complementaire methoden voor het genereren van testscenario’s voor AV’s. De eerste methode bepaalt automatisch de parameters die de scenario’s van een specifieke scenariocategorie het beste beschrijven. De werkelijke onderliggende, onbekende pdf van de parameters wordt geschat en scenario’s worden gegenereerd door parameterwaarden te bemonsteren uit de geschatte pdf. De tweede methode maakt de voorwaardelijke bemonstering van de parameters mogelijk. Dit kan bijvoorbeeld worden gebruikt om scenario’s met vooraf gedefinieerde startvoorwaarden te genereren. De voordelen van de gepresenteerde methoden zijn dat de gegenereerde scenario’s representatief zijn voor echte scenario’s, dat ze de werkelijke variatie in het echte verkeer dekken en dat ze de variatie van de verzamelende data uitbreiden. Om te meten in hoeverre de gegenereerde scenario’s inderdaad echte scenario’s vertegenwoordigen en tegelijkertijd de werkelijke variatie in het echte verkeer dekken, wordt de nieuwe scenario representativiteit (Scenario Representativeness, SR) maat voorgesteld. De vijfde bijdrage is het voorstel van twee nieuwe methoden voor het kwantificeren van het risico van een AV. Beide methoden berekenen het risico door de uitkomst van virtuele simulaties van scenario’s die zijn gegenereerd met de bovengenoemde methoden te combineren met de geschatte waarschijnlijkheid van deze scenario’s. De eerste methode kwantificeert het risico prospectief, dus vóór de daadwerkelijke inzet van het AV op de openbare weg. Het gekwantificeerde risico ondersteunt de risicobeoordelingsactiviteiten van ISO 26262 en ISO 21448, de toonaangevende normen op het gebied van autoveiligheid. Deze normen splitsen het risico op in drie aspecten: blootstelling, ernst en beheersbaarheid. Waar traditioneel de meningen van veiligheidsexperts worden gebruikt voor kwalitatieve, subjectieve beoordelingen voor elk van deze drie aspecten, berekent onze voorgestelde methode deze aspecten op een datagedreven, kwantitatieve manier. De tweede methode is een nieuwe manier voor datagedreven probabilistische afleiding van risicostatistieken (Probabilistic RISk Metric derivAtion, PRISMA), die wordt gebruikt voor het afleiden van surrogate veiligheidsstatistieken (Surrogate Safety Metric, SSM) die in realtime de waarschijnlijkheid van een specifieke gebeurtenis (bijvoorbeeld een crash) schatten. In tegenstelling tot bestaande SSM’s, welke alleen toepasbaar zijn in specifieke soorten scenario’s, kan de PRISMA-methode worden gebruikt voor het afleiden van meerdere SSM’s voor verschillende soorten scenario’s. Het werk gepresenteerd in dit proefschrift levert dus een substantiële bijdrage aan de volledige integratie van een scenariogebaseerde beoordeling voor de typegoedkeuring van AV’s.
TNO Identifier
986561
ISBN
978-94-6384-362-1
Publisher
TNO ; TUDelft
Collation
244 p.
Place of publication
Delft