Calidad de Training Data: Diversidad, Cobertura y Detección de Contenido Dañino (DAT-03 + DAT-04)
CTRL-AI-019 · Data Quality · Diversity & Bias
Asegura que los training datasets son diversos, representativos y libres de contenido dañino. Cubre análisis de representación demográfica, cobertura de escenarios, bias/stereotypes, hate speech, profanity y misinformation. 6 payloads de AITG-DAT-03 + DAT-04 con Fairlearn, AIF360, Detoxify, Perspective API y TFDV.
Vector: Data Quality (Diversity Gap + Harmful Content)
Sistema de IA entrenado sobre datasets que pueden contener (1) subrepresentación de grupos demográficos (género, etnia, geografía, edad), (2) cobertura insuficiente de escenarios reales, (3) sesgos y estereotipos, (4) hate speech, profanity o toxic content, (5) misinformation. Cualquiera de estos problemas se propaga al modelo, resultando en outputs sesgados, decisiones injustas, generación de contenido dañino o difusión de información falsa. La calidad del training data es el factor #1 que determina la calidad y responsabilidad del modelo.
Control GRC
Gobernanza, Riesgo y Cumplimiento
Contexto del desafío
ISO/IEC 42001 — Anexo A
IDs de control del Anexo A. PROTUIN no está certificado por ISO. Verifica el alcance real en la norma oficial.
ENS — Esquema Nacional de Seguridad
IDs de medida del ENS (RD 311/2022). PROTUIN no es entidad certificadora. Consulta el alcance oficial en la guía CCN-STIC correspondiente.
EU AI Act (Reglamento 2024/1689)
OWASP AI Testing Guide v1 — Tests cubiertos
Mapeo a la metodología oficial de testeo de IA (Threat Modeling → Threat Mapping → Test Design).
- AITG-DAT-03Testing for Dataset Diversity & CoverageDataResponsible AIRAI
- AITG-DAT-04Testing for Harmful Content in DataDataResponsible AIRAI
Controles relacionados
2Controles del mismo dominio o con vectores de ataque emparentados.
- CTRL-AI-013MediaContent Bias · Fairness & RAI
Detección y mitigación de sesgos en las respuestas del LLM: posicional, estereotipado (género, etnia, geografía), framing, anchoring y status quo. Cubre los 5 payloads de AITG-APP-10 con métricas de fairness (equalized odds, demographic parity) y zero-shot/few-shot unbiasing.
Ver ficha - CTRL-AI-012AltaContent Safety · Toxic Output Prevention
Defensa contra generación de contenido tóxico, ofensivo, discriminatorio o hate speech. Combina moderation APIs (Perspective, Detoxify, Azure Content Safety), RLHF, system prompt hardening, refusal rate monitoring y red-teaming continuo. Cubre los 4 payloads de AITG-APP-12 con criterios cuantitativos (refusal >80%, toxicity <0.5, zero critical failures).
Ver ficha
Referencias
- OWASP AI Testing Guide v1 - AITG-DAT-03 + AITG-DAT-04
- OWASP Top 10 for LLM Applications 2025 - LLM09: Overreliance
- OWASP AI Exchange - Misinformation and Harmful Content
- ISO/IEC 42001:2023 - AI Management Systems
- Reglamento (UE) 2024/1689 - AI Act
- Buolamwini & Gebru - Gender Shades (2018)
- Stock & Cisse - Lessons from the Anatomy of Datasets (2018)
Amenazas agénticas relacionadas
Este control se cruza con 1 amenaza del catálogo de Red Teaming de IA Agéntica.