Cybersecurity Evaluation Methodology based on Metrics for Industrial Embedded Systems

Abstract

During the last decades, Embedded Systems (ESs) have evolved from isolated systems into a fully connected devices. Today, due to the development of processing capabilities, ESs have the ability to control or manage a wide range of systems or applications, including the critical infrastructures. Historically, the development of ESs has been focused on functionality rather than security, and today this still applies in many sectors and applications. Moreover, there is an increasing number of security threats over ESs, and a successful attack could have severe economical or environmental consequences, including the loss of human lives. A standardized and general accepted security testing framework is needed to provide guidance, common reporting forms and the possibility to compare the results along the time. This can be achieved by introducing security metrics into the evaluation or assessment process. If carefully designed and chosen, metrics could provide a quantitative, repeatable and reproducible value that would reflect the security level of the ES. This dissertation is divided into three main topics, each one specialized in a different task of security evaluation: (1) Analysis of existing security metrics, (2) Vulnerability analysis, and (3) Aggregation of security metrics. In the first section of the thesis, more than 500 metrics were collected and analyzed. The current issues of existing metrics were also extracted. As expected, the 77.5% of them is related exclusively to software, and only the 0.6% of them addresses exclusively hardware security. We also surveyed the literature to find the which are the desirable properties of a comprehensive metric. Based on these data, we proposed a new taxonomy to classify security metrics based on the properties of ESs. In the second section, we present a model to analyze the known vulnerabilities of industrial components over time. The proposed Extended Dependency Graph (EDG) model is based on two main elements: a directed graph-based representation of the internal structure of the component, and a set of quantitative metrics based on the Common Vulnerability Scoring System (CVSS). The EDG model can be applied throughout the entire lifespan of a device to track vulnerabilities, identify new requirements, root causes, and test cases. It also helps prioritize patching activities. The model was validated by application to the OpenPLC project. Finally, in the third section we propose a CVSS aggregation algorithm that integrates information about the functionality disruption of the SUT, exploitation difficulty, existence of exploits, and the context where the SUT operates. The aggregation algorithm was applied to OpenPLC V3, showing that it is capable of filtering out vulnerabilities that cannot be exploited in the real conditions of deployment of the particular system. This work aims to lay the foundations for constructing a security evaluation methodology that uses standardized metrics to quantify the security level of an ES.

Azken hamarkadetan, Sistema Txertatuak (ES) sistema isolatuak izatetik erabat konektatutako gailuak izatera igaro dira. Gainera, prozesatzeko gaitasuna handitzeari esker, ESek sistema eta aplikazio ugari kontrolatzen eta kudeatzen dituzte, kritikoenak barne. Historikoki, ESen garapena funtzionaltasunean zentratu da segurtasunean baino gehiago, eta gaur egun ere horrela izaten jarraitzen du sektore eta aplikazio askotan. Horrek, ESei eragiten dieten mehatxuen kopurua handitzearekin batera, eraso arrakastatsu batek ondorio ekonomiko larriak izatea errazten du, baita giza bizitzak galtzea ere. Orientazioa, txosten estandarizatuak eta emaitzak denboran zehar alderatzeko aukera emateko, beharrezkoa da alderdi horiek guztiak bateratuko dituen eta ebaluazioprozesuan segurtasun-metrikak integratuko dituen metodologia bat. Kontu handiz diseinatzen eta aukeratzen badira, metrikek balio kuantitatiboa, errepikagarria eta erreproduzigarria eman lezakete, ESen segurtasun-maila islatuko lukeena. Tesi hau hiru bloke nagusitan banatzen da, bakoitza zibersegurtasuna ebaluatzeko prozesuko zeregin batean espezializatua: (1) dauden segurtasun-metriken azterketa, (2) kalteberatasunen analisia, eta (3) Segurtasun-metriken agregazioa. Tesi honen lehen atalean, 500 metrika baino gehiago bildu eta aztertu ziren, eta gaur egun metrikek dituzten arazoak atera ziren. Espero zen bezala, horien 77,5% softwarearekin soilik lotuta daude, eta 0,6% baino ez da hardware segurtasunari buruzkoa. Eskura dagoen literatura ere aztertu zen, metrika sakonean zer propietate nahi diren hautemateko. Datu horietatik guztietatik abiatuta, taxonomia berri bat garatu zen, segurtasun-metrikak ESen barne-egitura kontuan hartuta sailkatzen dituena. Bigarren atalean, industria-osagaiek denboran zehar izan dituzten kalteberatasunak aztertzeko eredu bat aurkezten dugu. Proposatutako Extended Dependency Graph (EDG) eredua bi elementu nagusitan oinarritzen da: (2) System Under Test (SUT) delakoaren mendekotasunen barne-egituraren irudikapena, zuzendutako grafoetan oinarrituta; eta Common Vulnerability Scoring System (CVSS) delakoan oinarritutako metrika kuantitatiboen multzo bat. EDG eredua gailu baten balio-bizitza osoan aplika daiteke, ahultasunen jarraipena egiteko, baldintza berriak identifikatzeko, urrakortasunen funtsezko kausak identifikatzeko eta test-kasu berriak sortzeko. Adabakiak aplikatzeko jarduerak lehenesten ere laguntzen du. Eredua OpenPLC proiektuan aplikatuta baliozkotu zen. Azkenik, hirugarren atalean, GZEKren balioak gehitzeko algoritmo bat proposatzen da. Algoritmo horrek GLSren testuinguruko hainbat faktoreri buruzko informazioa biltzen du, hala nola funtzionaltasuna eteteari, ustiatzeko zailtasunari, esploiten existentziari eta SUTak jarduten duen testuinguruari buruzkoa. Agregazio-algoritmoa OpenPLC V3-ri aplikatu zitzaion, sistemaren hedapen-baldintza errealetan ustiatu ezin diren kalteberatasunak iragazteko gai dela frogatuz. Lan honen bidez, IH baten segurtasun-maila kuantifikatzeko metrika estandarizatuak integratuko dituen zibersegurtasuna ebaluatzeko metodologia garatzeko oinarriak ezarri nahi dira.

En las últimas décadas, los Sistemas Empotrados (ES) han pasado de ser sistemas aislados a ser dispositivos totalmente conectados. Además, gracias al aumento en su capacidad de procesamiento, los ESs controlan y gestionan una amplia gama de sistemas y aplicaciones, incluidas aquellas más críticas. Históricamente, el desarrollo de los ESs se ha centrado en la funcionalidad más que en la seguridad, y a día de hoy, esto sigue siendo así en muchos sectores y aplicaciones. Esto, sumado al aumento del número de amenazas que afectan a los ESs, facilita que un ataque exitoso pudiera tener graves consecuencias económicas, e incluso la pérdida de vidas humanas. Para proporcionar orientación, informes estandarizados, y la posibilidad de comparar los resultados a lo largo del tiempo, se hace necesario una metodología que unifique todos estos aspectos, y que integre métricas de seguridad en el proceso de evaluación. Si se diseñan y eligen cuidadosamente, las métricas podrían proporcionar un valor cuantitativo, repetible y reproducible que reflejaría el nivel de seguridad de los ESs. Esta tesis se divide en tres bloques principales, cada uno de ellos especializado en una tarea distinta del proceso de evaluación de la ciberseguridad: (1) Análisis de las métricas de seguridad existentes, (2) Análisis de vulnerabilidades, y (3) Agregación de las métricas de seguridad. En la primera sección de esta tesis, se recopilaron y analizaron más de 500 métricas, y se extrajeron los problemas actuales a los que se enfrentan las métricas actualmente. Como era de esperar, el 77, 5% de ellas están relacionadas exclusivamente con el software, y sólo el 0, 6% de ellas aborda exclusivamente la seguridad hardware. También se analizó la literatura disponible para detectar cuáles son las propiedades deseables en métrica exhaustiva. A partir de todos estos datos, se desarrolló una nueva taxonomía que clasifica las métricas de seguridad teniendo en cuenta la estructura interna de los ESs. En la segunda sección, presentamos un modelo para analizar las vulnerabilidades conocidas de los componentes industriales a lo largo del tiempo. El modelo Extended Dependency Graph (EDG) propuesto se basa en dos elementos principales: (2) La representación de la estructura interna de dependencias del System Under Test (SUT) basada en grafos dirigidos; y un conjunto de métricas cuantitativas basadas en el Common Vulnerability Scoring System (CVSS). El modelo EDG puede aplicarse a lo largo de toda la vida útil de un dispositivo para hacer un seguimiento de las vulnerabilidades, identificar nuevos requisitos, identificar las causas fundamentales de las vulnerabilidades, y generar nuevos casos de test. También ayuda a priorizar las actividades de aplicación de parches. El modelo se validó mediante su aplicación al proyecto OpenPLC. Por último, en la tercera sección se propone un algoritmo de agregación de valores CVSS que integra información sobre varios factores de contexto del SUT, como la interrupción de la funcionalidad, la dificultad de explotación, la existencia de exploits y el contexto en el que opera el SUT. El algoritmo de agregación se aplicó a OpenPLC V3, demostrando que es capaz de filtrar las vulnerabilidades que no pueden ser explotadas en las condiciones reales de despliegue del sistema. Este trabajo pretende sentar las bases para el desarrollo de una metodología de evaluación de la ciberseguridad que integre métricas estandarizadas para cuantificar el nivel de seguridad de un ES.