Rechercher

Test MITRE ATT&CK

Le test MITRE ATT&CK est-il fiable ? Magnus Stenlud, d’Orange Cyberdefense Suède répond à cette question.

Et le gagnant est…

Au début du mois de juin 2019, le très attendu test d’émulation MITRE ATT&CK APT29 a été publié. Depuis lors, de nombreux fournisseurs qui y ont participé ont publié des déclarations sur leur suprématie, et vous aurez probablement le sentiment que chacun d’entre eux est en effet gagnant.

Est-ce possible ? Tout le monde peut-il être gagnant ? Peut-il y avoir un gagnant ? Est-ce que cela a de l’importance ? Dans cet article, nous allons essayer de donner un peu de clarté sur ce sujet.

Tout d’abord, qu’est-ce que le MITRE ATT&CK ?

MITRE ATT&CK® est une base de connaissances, accessible au monde entier, sur les tactiques et techniques des cyberattaquants, basée sur des observations du monde réel.

La base de connaissances ATT&CK est notamment utilisée pour le développement de modèles et de méthodologies de détection des menaces dans le secteur privé, public et au sein de la communauté des produits et services de cybersécurité.

Comment les évaluations sont-elles réalisées MITRE ATT&CK ?

C’est ainsi que MITRE l’explique :

« MITRE évalue les produits de cybersécurité en utilisant une méthodologie ouverte basée sur les connaissances ATT&CK®. Notre objectif est de rendre les organisations plus résilientes face aux comportements indésirables connus, en :

  • fournissant des orientations objectives aux utilisateurs finaux sur la manière d’utiliser des produits de sécurité commerciaux spécifiques pour faire face à des comportements indésirables connus ;
  • garantissant la transparence sur les capacités réelles des produits de sécurité à faire face aux comportements indésirables connus ;
  • encourageant la communauté des fournisseurs de sécurité à renforcer leurs aptitudes à faire face aux comportements malveillants connus.

Ces évaluations ne constituent pas une analyse de la concurrence. Nous montrons les détections que nous avons observées sans couronner de “gagnant”. Il n’y a ni notes, ni classement, ni évaluations. Nous montrons plutôt comment chaque fournisseur aborde la défense contre les menaces dans le contexte d’ATT&CK ».

Le test MITRE ATT&CK APT 29 dans le detail

Deux scénarios sont basés sur l’APT29/Cozy Bear/The Dukes/YTTRIUM et ses flux opérationnels. Le premier scénario commence par l’exécution d’une payload livrée par une vaste campagne de spearphishing “spray and prays”, suivie d’une collecte « smash and grab » et d’une exfiltration rapide de fichiers spécifiques.

Une fois le vol de données initial terminé, la valeur cible est réalisée et l’adversaire laisse tomber une deuxième boîte à outils, plus furtive, utilisée pour explorer plus loin et compromettre le réseau cible.

Le second scénario se concentre sur une brèche très ciblée et méthodique, en commençant par l’exécution d’une payload spécialement conçue pour examiner l’environnement cible avant de s’exécuter. Le scénario se poursuit avec une lente et faible prise de contrôle de la cible initiale et, finalement, de tout le domaine. Les deux scénarios impliquent l’exécution de mécanismes de persistance préalablement établis après un laps de temps simulé pour étendre la portée de la brèche.

Tous les détails ici : https://attackevals.mitre.org/APT29/

Y a-t-il un gagnant ?

L’avantage des tests de MITRE est qu’ils sont transparents. Chaque test est décrit, et les résultats sont bien documentés, par rapport aux maisons de test traditionnelles. La plupart des organismes de tests fournissent un minimum d’informations sur ce qui est testé, sur les informations soumises aux fournisseurs avant le test, etc. En tant que client, il devient donc difficile d’entrer dans les détails des performances d’un fournisseur testé et de savoir pourquoi il est considéré, par exemple, comme une référence par l’organisme de tests.

Cela est particulièrement visible pour les logiciels de protection des endpoints (EPP), où de nombreux fournisseurs de premier plan ont obtenu un score de 100 % pour le taux de prévention, ce qui, nous le savons, n’est pas réaliste. En ce sens, MITRE remplit son but de fournir des résultats objectifs, transparents et impartiaux.

La limite du test MITRE est qu’il est très “atomique”. Chaque détection de sous-étape est soit un succès soit un échec, et est marquée par les principales méthodes de détection et les modificateurs. Les principaux types peuvent être divisés par la qualité des détections ; par exemple, une technique ou une tactique détectée est jugée meilleure que la télémétrie brute. Il serait toutefois trop hâtif de considérer cela uniquement comme une mesure de la qualité, car les détections par télémétrie pourraient être des points de données précieux utilisés pour relier des points dans le but ultime d’aider un analyste à répondre rapidement à une alerte ou enquêter.

En examinant les modificateurs, les termes “alertes” et “corrélées” sont meilleurs que (par exemple) “changements de configuration de détection”, qui devaient être faits pour passer à une sous-étape spécifique. Il est difficile de comprendre si le changement de configuration a seulement entraîné un résultat positif ou si le changement aurait également un effet positif pour une solution dans un environnement réel.

L’évaluation d’un vendeur sur la base du nombre total de détections conduirait également dans de nombreux cas à une conclusion erronée, car elle pourrait indiquer que vous serez inondé d’événements dans un environnement réel. De même, la couverture de la technique vous indiquera dans quelle mesure la solution associe ses résultats à une technique MITRE, mais rien sur la facilité d’utilisation, ce qui pourrait entraîner une avalanche d’alertes déconnectées et non corrélées.

En bref, un fournisseur pourrait obtenir une bonne évuluation en ajoutant beaucoup de capacités de détection en se concentrant sur les 58 techniques MITRE qui ont été évaluées dans le test d’émulation MITRE ATT&CK APT29.

Conclusion

Malgré le raisonnement ci-dessus, l’objectif de MITRE de fournir à la communauté des données d’évaluation transparentes est une bonne chose. Mais la façon dont certains fournisseurs utilisent ensuite les données est loin d’être parfaite, car on peut prouver presque tout en les regardant sous le bon angle. Le test en dit très peu sur les scénarios réels, ne couvre pas le risque de lassitude des alertes et n’inclut pas d’outils pour agréger les alertes, les capacités de réponse, etc. Le test ne comprend pas non plus un ensemble complet d’outils pour l’agrégation des alertes.

Le test d’émulation MITRE est unique par sa transparence dans les tests publics. Nous avons donc contacté l’équipe d’évaluation pour discuter de la manière d’améliorer encore et éventuellement de résoudre certains des problèmes actuels des tests.

Il n’existe pas de moyen rapide et facile de trouver le gagnant ou la référence du marché à partir des données du test MITRE, et ce n’est, en réalité, pas le but du test. Ainsi, l’une des principales conclusions est que MITRE n’est pas la seule source que vous devriez utiliser ou sur laquelle vous devriez vous appuyer lorsque vous évaluez des solutions de sécurité. Ce n’est qu’une pièce du puzzle.

Pour choisir le bon outil de détection et de réponse des points terminaux (EDR) car il est important de connaître ses lacunes sur ce point. Il ne s’agit pas seulement de technologie, mais aussi de processus et de personnes (par exemple, les analystes SOC). Les résultats des tests d’émulation MITRE pourraient être utilisés comme sources de données décisionnelles, mais ne devraient certainement pas être les seules.

Si vous évaluez actuellement les fournisseurs de sécurité des endpoints et que vous souhaitez vous plonger avec nous dans les données du test MITRE ou dans l’espace encombré de la sécurité des points d’accès, nous serons heureux de vous aider.

Source : https://attackevals.mitre.org/APT29/