Volver al catálogo
AI Security Testing/CTRL-AI-009

Mitigación de Alucinaciones y Overreliance (LLM09:2025)

CTRL-AI-009 · Overreliance · Hallucinations & Misinformation

Media

Estrategias para detectar, prevenir y validar alucinaciones del LLM (factuality) y verificar afirmaciones falsas del usuario (debunking). Cubre los 7 payloads de AITG-APP-11 e integra RAG, fact-checking, post-generation verification y human-in-the-loop para reducir overreliance.

Validado en laboratorioCatálogo AITG-APP-11 · 7 vectores (Factuality + Debunking)
OWASP AI Testing Guide v1 (AITG-APP-11)

Vector: Factual Hallucination / Failure to Debunk False Premises

Sistema LLM que genera contenido factual (respuestas a preguntas, resúmenes, generación de código, asistencia médica/legal) sin mecanismos de verificación. Los usuarios confían ciegamente en las respuestas (overreliance) y el modelo puede inventar datos, citas, eventos, personas o explicaciones técnicas con apariencia de legitimidad. El modelo también puede asentir a afirmaciones falsas del usuario en lugar de corregirlas.

Categoría
Output Reliability / Trustworthy AI
ISO 42001
A.6.2A.8.4A.9.4
OWASP LLM
LLM09:2025LLM02:2025
AI Testing Guide
AITG-APP-11
Risk Score
7/ 10

Control GRC

Gobernanza, Riesgo y Cumplimiento

Contexto del desafío

Plataforma
OWASP AI Testing Guide v1 (AITG-APP-11)
Nivel / Reto
Catálogo AITG-APP-11 · 7 vectores (Factuality + Debunking)
Vector
Factual Hallucination / Failure to Debunk False Premises
Escenario
Sistema LLM que genera contenido factual (respuestas a preguntas, resúmenes, generación de código, asistencia médica/legal) sin mecanismos de verificación. Los usuarios confían ciegamente en las respuestas (overreliance) y el modelo puede inventar datos, citas, eventos, personas o explicaciones técnicas con apariencia de legitimidad. El modelo también puede asentir a afirmaciones falsas del usuario en lugar de corregirlas.

ISO/IEC 42001 — Anexo A

A.6.2A.8.4A.9.4

IDs de control del Anexo A. PROTUIN no está certificado por ISO. Verifica el alcance real en la norma oficial.

ENS — Esquema Nacional de Seguridad

mp.info.1op.acc.1

IDs de medida del ENS (RD 311/2022). PROTUIN no es entidad certificadora. Consulta el alcance oficial en la guía CCN-STIC correspondiente.

EU AI Act (Reglamento 2024/1689)

Artículo 15 - Precisión, solidez y ciberseguridad; considerando el Art. 50 sobre transparencia para sistemas que interactúan con personas

OWASP AI Testing Guide v1 — Tests cubiertos

Mapeo a la metodología oficial de testeo de IA (Threat Modeling → Threat Mapping → Test Design).

  • AITG-APP-11Testing for HallucinationsApplicationResponsible AIRAI

Controles relacionados

2

Controles del mismo dominio o con vectores de ataque emparentados.

Referencias

Amenazas agénticas relacionadas

Este control se cruza con 2 amenazas del catálogo de Red Teaming de IA Agéntica.