Gobernanza de IA
Auditoría de modelos de IA
El modelo decide. Alguien tiene que poder explicar por qué.
En qué consiste este trabajo
Examinamos el modelo en dos frentes que mucha gente confunde: si trata a grupos diferentes de forma justa, y si alguien puede explicar una decisión específica cuando la persona afectada pregunte. Un modelo puede ser justo e incomprensible, o perfectamente explicable y sesgado. Son exámenes diferentes, y tú eliges si haces uno de ellos o los dos.
El trabajo empieza cerrando el alcance por escrito: qué modelo, qué decisiones, qué grupos comparar. Después probamos con datos de prueba: desempeño por grupo, comportamiento en los casos difíciles y capacidad de reconstruir una decisión individual. El resultado sale en un informe con plan de acción, y la modalidad completa agrega el informe ejecutivo y la presentación para la dirección.
Necesitamos acceso al modelo o a sus salidas, la documentación de desarrollo que exista y a tu equipo de datos disponible para responder preguntas. Auditamos el modelo en el estado en que llega: la corrección de lo que encontremos queda con quien lo construyó, y nuestro plan de acción dice por dónde empezar.
El trasfondo es legal, no solo técnico. Cuando la IA decide sobre personas, la LGPD les da el derecho de pedir revisión, y responder exige más que decir que el sistema es bueno. La ficha técnica y los informes son el material que sostiene esa respuesta ante un cliente, un regulador o un titular.
Cómo conducimos, etapa por etapa
Las etapas y los entregables de abajo describen la modalidad Las dos cosas. Las demás modalidades aparecen cuando pides la propuesta.
Definición de alcance
Cerramos por escrito qué entra y qué queda afuera, y por qué. Un alcance mal definido es la causa más común de un proyecto que revienta el plazo.
Recolección de evidencias
Reunimos lo que ya existe: documentos, configuraciones y registros. Empezamos por lo que la empresa tiene, y no por un formulario en blanco.
Evaluación del modelo
Probamos el modelo con datos de prueba: desempeño por grupo, comportamiento en los casos difíciles y capacidad de explicar una decisión específica.
Informe
Consolidamos los hallazgos en un informe donde cada punto viene con gravedad, evidencia y el camino de corrección. Escribimos para que lo lea quien va a actuar, no para engordar páginas.
Presentación
Reunión con la dirección traduciendo el resultado técnico en riesgo de negocio y decisión de inversión. Llegamos con la respuesta a las preguntas que la mesa siempre hace: qué atacar primero, cuánto esfuerzo exige y qué pasa si no se hace nada.
Lo que no está incluido
- La corrección o el reentrenamiento del modelo, que queda con tu equipo de datos
- El etiquetado o la recolección de datos para pruebas, que solo entran si se acuerdan por separado
- La garantía de resultado: auditamos el modelo como está, no como podría quedar
- El monitoreo continuo del modelo después de la auditoría: examinamos una foto en el tiempo, y acompañar lo que cambia es rutina de tu equipo
- El ataque adversarial al sistema, intentando hacerlo actuar fuera de lo acordado, que es un trabajo de otra naturaleza
- El dictamen jurídico sobre la decisión automatizada, que queda con el despacho de abogados contratado por ti
- La respuesta directa al titular que pidió revisión, que es del controlador: entregamos el material que sostiene esa respuesta
Suele venir junto
No es paquete y no cambia lo que ya elegiste. Es lo que suele aparecer justo después, en la experiencia de quien ya pasó por esto.