La fórmula para medir la eficacia de la seguridad del 'email' en el mundo real

El escéptico que tengo en mi cabeza lleva años diciéndome: "¿Cómo puedo medir la eficacia de la seguridad en el mundo real?". He aquí cómo.

En primer lugar, es importante saber que la eficacia se mide calculando la "reducción proporcional del riesgo". En el caso de las vacunas COVID-19, por ejemplo, eso ocurre cuando se evalúa el resultado de aplicar el tratamiento a una población, en comparación con una población no tratada. Eso ha significado monitorear el efecto de administrar la vacuna real o un placebo a entre 30.000 y 40.000 personas para cada vacuna (los requisitos de la población se determinaron estadísticamente) y evaluar los resultados. Tanto en el caso de Pfizer como en el de Moderna, las vacunas resultaron en aproximadamente un 95% menos de casos de COVID, por lo que esa es su eficacia. Se pueden encontrar los datos de eficacia de todo tipo de tratamientos contra todo tipo de enfermedades y dolencias.

En materia de ciberseguridad, hemos implementado esencialmente controles basados en las "mejores prácticas", así como en las experiencias de los profesionales. Eso no es tan malo como parece: no es brujería. En definitiva, estamos evaluando bits y bytes y podemos capturarlos todos para su análisis. Es más, podemos ver activamente el tráfico y la actividad que se bloquea, a diferencia de lo que ocurre en los ensayos de vacunas, en los que no estamos seguros de si alguien está expuesto. Esto significa que podemos utilizar los datos de nuestros entornos existentes para determinar la eficacia si hacemos las suposiciones correctas. Es decir, podemos empezar con la posición de que todo lo que se bloquea es un resultado negativo legítimo. (Más adelante hablaré de cómo cambiar esta suposición según sea necesario).

Medir la eficacia de la seguridad del correo electrónico

Teniendo esto en cuenta, veamos las cifras de una solución estándar de seguridad del correo electrónico, utilizando estimaciones redondeadas de datos del mundo real. La mayoría de las organizaciones actuales tienen un filtro de correo electrónico inicial que bloquea el spam y los mensajes maliciosos obvios. En Exchange Online, se trata de una protección perimetral. A continuación, pasan por un 'túnel de lavado' de seguridad del correo electrónico: una serie de filtros para buscar violaciones de las reglas, malware, restricciones DMARC y coincidencias de firmas antispam. Hoy en día, hay incluso espacio para una revisión posterior a la entrega.

En nuestro ejemplo simplificado, empezamos con unos 150.000 mensajes dirigidos a una organización. La protección perimetral filtra 10.000 inmediatamente, y luego el análisis de reglas bloquea otros 25.000. Cuando llegamos al 'túnel de lavado' bloqueamos con éxito otros 2.500 mensajes. Por último, el repaso de la 'protección de hora cero' bloquea otros 20. Así que empezamos con 150.000 y terminamos con 112.480 después de perder 37.520 mensajes malos.

Como suponemos que todo lo que se bloqueó se hizo de forma adecuada, eso también significa que podemos calcular cuál habría sido el riesgo si no hubiera habido controles: 37.520/150.000, lo que supone un 25% de posibilidades de que un correo electrónico sea inapropiado. Con este punto de partida, podemos determinar la eficacia de la seguridad del correo electrónico en cada nivel de análisis, modificando ligeramente el cálculo para tener en cuenta la reducción de la población de mensajes.

Una vez aplicado el primer nivel de protección de perímetro, se bloquean 10.000 mensajes y el riesgo se reduce a aproximadamente el 18% (27.520/150.000), lo que da a la protección perimetral una puntuación de eficacia del 28% (el nivel de riesgo del 25% se reduce en un 28% al 18%). Esto permite que 140.000 mensajes pasen al siguiente nivel.

El análisis de reglas es el verdadero caballo de batalla de la solución de seguridad del correo electrónico, ya que recorta otros 25.000 de los 140.000 mensajes restantes, para reducir nuestro riesgo de aproximadamente el 20% (27.520/140.000 después de ajustar el denominador) al 2% (2.520/140.000), lo que da como resultado una medida de eficacia de aproximadamente el 90%.

En el lavado de cara del correo electrónico, eliminamos otros 2.500 mensajes de los 115.000 restantes, reduciendo el riesgo del 2% al 0,02% con una eficacia del 99%. En esta fase, los 112.500 mensajes se entregan, pero tenemos nuestra oportunidad de atrapar otros 20 mensajes maliciosos de "hora cero", reduciendo ese último 0,02% de riesgo a un supuesto 0%.

Cómo tratar los falsos positivos y los falsos negativos

¿Qué pasa con los posibles falsos positivos y negativos? Puedes contabilizarlos y tenerlos en cuenta de forma retroactiva a medida que se identifican. Aunque no es necesario para las medidas de eficacia (y es motivo de otra columna), podemos identificar los falsos positivos mediante el muestreo de los mensajes bloqueados, o estimar utilizando referencias o encuestas de 'correos perdidos' que pueden haber sido bloqueados. Para los falsos negativos, bueno, se ajustan en los números al ser descubiertos. También hay que aumentar esa línea de tiempo a través de la caza de amenazas.

Armados con estos números podemos, primero, enjuagar y repetir, una y otra vez durante un año para tener una idea de cómo se mueven los números. Recordemos que la mayoría de estas soluciones son eficaces, pero a partir de aquí podemos empezar a evaluar soluciones alternativas. En ciberseguridad, no es raro que haya soluciones que puedan reducir el número de incidentes en sólo un puñado o menos, lo que hace difícil determinar si una solución alternativa o adicional merece la pena.

Capturar estos datos y calcular la eficacia a lo largo del tiempo es la única forma (casi) objetiva de determinar la solidez de un programa de seguridad.