Conceptos para entender la investigación EIAC

Dato e información

Un dato es un valor suelto (un número, una palabra, una fecha). Se vuelve información cuando ayuda a responder una pregunta o a tomar una decisión.

Dataset (conjunto de datos)

Una colección organizada de datos, casi siempre en forma de tabla: cada fila es un caso y cada columna, una propiedad de ese caso.

Registro (fila)

Cada fila del dataset: un elemento concreto que se describe. También se llama observación o instancia.

Columna, característica o atributo

Cada columna describe una misma propiedad para todos los registros. En machine learning se le llama característica (feature). Nuestra pregunta es justamente cuánta información aporta cada columna.

Tipos de columnas

Numérica (puertos, cantidades), categórica (pocas opciones que se repiten: High/Medium/Low), texto libre (descripciones) y fecha/hora (timestamp). El tipo influye mucho en cuánta información “útil” tiene una columna.

CSV

Formato de texto para guardar tablas: una línea por fila y los valores separados por comas. Lo abre Excel, Python o casi cualquier herramienta. Nuestro algoritmo recibe un CSV, local o desde una URL.

XML

Formato de texto con etiquetas anidadas, como “cajas dentro de cajas”. CAPEC se publica en XML; lo convertimos a tabla con la librería ElementTree de Python.

Valores faltantes (vacíos)

Celdas sin dato. Una columna con muchos vacíos describe a pocos registros, así que su utilidad baja aunque los datos que tenga sean variados.

Cardinalidad

Cuántos valores distintos tiene una columna (en las fórmulas la llamamos k). Baja cardinalidad: pocas categorías. Cardinalidad igual al número de filas: cada fila es diferente.

Identificador

Columna cuyo valor es distinto en cada fila; sirve para encontrar un registro, no para compararlo con otros. Para un modelo, un ID no enseña nada sobre el ataque.

Redundancia

Cuando una columna repite información que ya está en otra. Añade trabajo sin añadir conocimiento.

Análisis exploratorio de datos (EDA)

La etapa en la que se “conoce” el dataset antes de modelar: qué columnas hay, cuántos vacíos, qué valores se repiten. El EIAC es una herramienta para apoyar el EDA.

Selección de características

Decidir qué columnas usar. Muchas veces se hace a mano y por experiencia; proponemos una medida objetiva que ayuda a decidir.

Machine learning y modelo

Un modelo es un programa que aprende patrones a partir de ejemplos (entrenamiento) para luego clasificar casos nuevos, por ejemplo “tráfico normal” o “ataque”. Si recibe columnas inútiles, gasta más cómputo sin mejorar.

Dataset sintético y muestra

Un dataset sintético se fabrica a propósito para probar casos controlados (columnas vacías, IDs, ruido). Una muestra es una parte de un dataset grande: usamos 40.000 de 907.814 registros de SR-BH 2020.

Variable objetivo y datos etiquetados

La variable objetivo (o etiqueta) es la columna que un modelo intenta predecir, por ejemplo “normal” o “inyección SQL”. Un dataset está etiquetado cuando cada registro ya trae esa respuesta.

Dimensionalidad y costo computacional

La dimensionalidad es la cantidad de columnas. Más columnas significan más memoria y más tiempo de cálculo (costo computacional), y si no aportan información el modelo no mejora: solo se vuelve más lento y difícil de interpretar.

Normalización y limpieza

Normalizar es poner los datos en un formato uniforme: nombres de columnas consistentes y valores escritos igual. Sin esa limpieza, “Detailed” y “detailed” se cuentan como dos categorías distintas y la entropía sube de forma artificial.

Calidad de datos

Qué tan aptos son los datos para su uso. Se mide en dimensiones como completitud (¿faltan datos?), unicidad (¿se repiten o son todos distintos?), consistencia (¿están escritos igual?) y exactitud (¿son correctos?). El EIAC combina dos de ellas con la diversidad de Shannon; es una herramienta útil para el gobierno de datos.

Protección de datos

Ninguno de los tres datasets contiene datos personales: CAPEC es un catálogo técnico, el sintético es artificial y de SR-BH 2020 solo se analizaron de forma agregada la variabilidad, completitud y unicidad de las columnas, sin intentar identificar usuarios ni redistribuir los datos.

Ciberseguridad y ataque

La ciberseguridad protege sistemas y datos. Un ataque es un intento de dañarlos, robarlos o usarlos sin permiso.

Patrón de ataque

Una descripción general de cómo se realiza un tipo de ataque: pasos, requisitos, consecuencias y cómo mitigarlo. Es como una “receta” documentada, no un incidente real.

MITRE

Organización sin ánimo de lucro de EE. UU. que mantiene catálogos públicos usados en todo el mundo, como CAPEC, CWE, CVE y ATT&CK.

CWE, CVE y ATT&CK

CWE lista debilidades de software; una CVE es una vulnerabilidad concreta en un producto; ATT&CK describe técnicas de atacantes reales. CAPEC conecta con todas: un patrón explota debilidades CWE.

Tráfico HTTP

Los mensajes entre un navegador y un sitio web. Cada petición (request) tiene partes como el cuerpo, las cookies, el user agent (qué navegador es) y el puerto de origen.

SR-BH 2020

Dataset público de tráfico HTTP real etiquetado con tipos de ataque (multietiqueta, alineado con CAPEC). Fue nuestro escenario real.

Ataques web: SQLi, Path Traversal, comandos y XSS

Inyección SQL (CAPEC-66): mete instrucciones de base de datos en un formulario o URL. Path Traversal (CAPEC-126): usa rutas como ../ para leer archivos que no debería. Inyección de comandos (CAPEC-88): ejecuta órdenes del sistema operativo en el servidor. Estos tres están entre las 13 etiquetas de ataque de SR-BH 2020. XSS (Cross-Site Scripting), que inserta código que se ejecuta en el navegador de otra persona, aparece en el ejemplo de cálculo con 6 patrones.

Detección de intrusiones, anomalías y DDoS

Un IDS vigila la red buscando ataques. Una anomalía es un comportamiento fuera de lo normal. Un DDoS satura un servicio con tráfico. La mayoría de estudios usa la entropía para detectar esto; nosotros la usamos para evaluar el dataset.

Estructura del XML y campos “moleculares”

En el XML, cada <Attack_Pattern> contiene elementos hijo, y algunos tienen a su vez listas dentro (relaciones, referencias, pasos). A esos campos con registros anidados los llamamos moleculares: no caben en una sola celda sin transformarlos, por eso se dejaron fuera del dataset modelo.

Cobertura de un campo

En cuántos de los 615 patrones aparece un campo del catálogo. Es la mirada “antes” de construir el dataset; la completitud C es la misma idea medida ya sobre cada columna del CSV.

Otros campos de CAPEC

Prerequisites: condiciones necesarias para que el ataque sea viable. Mitigations: controles para prevenirlo o neutralizarlo. Execution Flow: los pasos del ataque (explorar, experimentar, explotar). Related Weaknesses: las debilidades CWE que explota.

Dónde se usa hoy la entropía en ciberseguridad

En la literatura revisada aparece sobre todo para detectar: anomalías en el tráfico del dataset UNSW-NB15, ataques DDoS en redes SDN (definidas por software), ataques en redes IoT (dispositivos conectados) o amenazas en textos de CTI (inteligencia de amenazas). Casi nunca se usa para evaluar el dataset mismo.

Probabilidad y frecuencia relativa

La frecuencia relativa de un valor es cuántas veces aparece dividido entre el total. Funciona como su probabilidad (p).

Logaritmo en base 2 y el bit

log₂ x responde “¿cuántas veces debo multiplicar 2 para llegar a x?”. El bit es la información de una pregunta de sí/no con dos opciones igual de probables.

Entropía normalizada (Hn)

La entropía máxima depende del número de categorías (log₂ k), así que no se pueden comparar columnas directamente. Dividimos y obtenemos un valor de 0 a 1:

Hn(X) = H(X) / log₂ k

Completitud (C)

Qué fracción de la columna tiene datos. m = celdas vacías, n = total de registros.

C(X) = 1 − m / n

Unicidad (U)

Qué tan cerca está la columna de tener un valor distinto en cada fila.

U(X) = k / n

Clasificación funcional

Además del número, el algoritmo etiqueta el papel de cada columna: analítica, trazabilidad, descriptiva, complementaria, bajo aporte o candidata a limpieza (p. ej. “Detailed” y “detailed” escritos distinto).

Análisis de sensibilidad

Mover un solo factor a la vez para ver cómo cambia el resultado. Desde una columna con Hn 0,80, C 0,90 y U 0,10 (EIAC 0,648): si la completitud baja a 0,50, el EIAC cae a 0,360; si U llega a 1, se anula.

CRISP-DM

Metodología estándar para proyectos de datos: entender el problema y los datos, prepararlos, modelar, evaluar y desplegar. La adaptamos en cuatro fases, una por objetivo.

Modelo CVM

Forma de organizar una revisión de literatura en tres dimensiones: Criterios de búsqueda, Ventana de tiempo y Moda investigativa. Con él seleccionamos 14 trabajos (2018–2026).

Implementación en Python

El algoritmo lee un CSV, calcula H, Hn, C, U y EIAC por columna, las clasifica y genera reportes CSV y PDF. Usa pandas, math, re, argparse, pathlib, urllib y reportlab.

Reproducibilidad

Que cualquiera pueda repetir el trabajo y obtener lo mismo. Por eso el código, los datos y los resultados están en un repositorio público con una versión congelada (v1.0.0), y cada archivo de datos tiene una huella SHA-256 que permite comprobar que no cambió.

Exactitud, precisión, recall y F1

Métricas para evaluar un modelo de clasificación: cuántos aciertos tiene, cuántas alarmas son reales, cuántos ataques detecta y un balance de ambas. Medir su efecto con y sin EIAC es nuestro trabajo futuro.

Alternativas a Shannon: Rényi, Tsallis e información mutua

Rényi y Tsallis son generalizaciones de la entropía con un parámetro que da más peso a los valores frecuentes o a los raros. La información mutua mide cuánto dice una columna sobre otra, normalmente sobre la etiqueta.

Métodos del estado del arte

Divergencia KL: mide cuánto se diferencian dos distribuciones. Topic modeling: descubre temas en colecciones de textos. NLP (procesamiento de lenguaje natural): técnicas para que un programa analice texto, por ejemplo para vincular vulnerabilidades CVE con patrones CAPEC. Ontologías: mapas formales de conceptos y sus relaciones, usados para clasificar ataques.

Validación y significancia estadística

Validar es comprobar que el índice sirve para algo externo, por ejemplo que mejora un modelo. La significancia estadística indica si una diferencia es real o podría ser casualidad. En este trabajo las comparaciones son descriptivas: ambas cosas quedan como trabajo futuro.

La entropía en la vida diaria

Contraseñas: su fortaleza se mide en bits de entropía; más caracteres posibles y más largo, más difícil de adivinar. Compresión: un archivo con mucha repetición (baja entropía) se comprime mucho; uno ya comprimido o cifrado casi nada. Malware: el código cifrado u ofuscado tiene entropía muy alta, una pista que usan los antivirus.