La confianza no se automatiza
Antes de desplegar un agente IA, hay una pregunta que ninguna PYME debería saltarse: ¿quién responde cuando algo sale mal?
Hay un momento muy concreto en el que una PYME decide que necesita un agente IA. Normalmente no es una decisión estratégica. Es una acumulación: demasiados correos sin responder, demasiados procesos manuales, alguien en un evento que dice que su competencia ya lo tiene. Y entonces se actúa.
Lo que casi nunca ocurre en ese momento —y debería— es la pregunta incómoda: ¿qué pasa cuando este agente comete un error delante de un cliente? ¿Quién responde? ¿Cómo? ¿Con qué criterio?
La tecnología para desplegar agentes IA es cada vez más accesible. La madurez para hacerlo bien, todavía no.
El caso que nadie quiere protagonizar
En 2023, Air Canada desplegó un chatbot de atención al cliente que prometió a un pasajero un descuento por duelo que no existía en su política real. El cliente lo reclamó. Air Canada intentó eludir la responsabilidad alegando que el chatbot era una "entidad separada". El tribunal falló en contra de la aerolínea.
La empresa respondía por lo que decía su agente, aunque nadie en la empresa lo hubiera dicho conscientemente.
Eso es lo que ocurre cuando una organización despliega un sistema autónomo sin haber pensado quién firma detrás. No es un problema técnico. Es un problema de criterio organizativo que se disfraza de fallo tecnológico.
Las PYMES tienen, en este sentido, una ventaja que las grandes corporaciones no tienen: pueden moverse más despacio de manera deliberada. Pero esa ventaja solo existe si se usa.
Por qué la ética en agentes IA no es un tema de compliance
Cuando se habla de ética e IA en las organizaciones, hay una tendencia a delegarlo al departamento legal o al de IT. Se convierte en un checklist de privacidad, una política de datos, una cláusula en los términos de uso. Todo correcto. Todo insuficiente.
La ética en un agente IA no es un documento. Es una serie de decisiones de diseño que tienen consecuencias reales sobre personas reales.
¿El agente tiene acceso a datos del cliente sin que este lo sepa? ¿Puede tomar decisiones que afectan a su servicio sin intervención humana? ¿Sabe el empleado que trabaja junto a ese agente en qué se basa el sistema para sus sugerencias?
Estas preguntas no se responden con un PDF. Se responden en la arquitectura del sistema, en los flujos de aprobación, en los mensajes que ve el usuario final.
Una PYME que implementa un agente IA sin haberse hecho estas preguntas no está siendo ágil. Está siendo imprudente.
Lo que sí pueden hacer las PYMES: pasos concretos hacia la confianza
Hay algo que se pierde en la conversación sobre ética e IA: la idea de que es un problema de grandes empresas con grandes recursos. No lo es. De hecho, las PYMES tienen más capacidad de hacerlo bien precisamente porque tienen menos capas, más visibilidad y más contacto directo con las consecuencias.
Empieza por definir qué puede decidir el agente y qué no. No todos los procesos son iguales. Un agente que responde preguntas frecuentes sobre horarios tiene un margen de error muy distinto a uno que gestiona devoluciones, prioriza tickets de soporte o recomienda productos. Antes de desplegar, traza una línea explícita: aquí el agente actúa solo, aquí escala a una persona. Esa línea debe existir en el sistema, no solo en la intención.
Haz que el agente sea identificable como agente. En la Unión Europea, el AI Act ya establece que los sistemas de IA que interactúan con personas deben identificarse como tales. Pero más allá de la regulación: es simplemente honesto. Un cliente que sabe que está hablando con un sistema automatizado tiene expectativas ajustadas. Un cliente que cree que habla con una persona y luego descubre que no... pierde la confianza de golpe y para siempre.
Diseña el error desde el principio. No el error técnico. El error de criterio: cuándo el agente va a equivocarse, qué tipo de equivocación es más probable y cómo quieres que el sistema reaccione. ¿Hay un canal claro para que el cliente corrija al agente? ¿Hay un registro de las decisiones que tomó para auditarlas? ¿Hay alguien en el equipo que revise los casos donde el agente escaló o falló?
Habla con tu equipo antes de hablar con tus clientes. Este es el paso que más se salta. Los empleados que trabajan con agentes IA —o junto a ellos— necesitan entender qué hace el sistema, qué no hace y por qué. Un equipo que no confía en sus propias herramientas no puede proyectar confianza al exterior. Y un equipo que se siente vigilado o sustituido por el sistema va a trabajar en su contra, de formas sutiles y no tan sutiles.
La transparencia que sí se puede implementar
Transparencia en IA suena a algo grande. En la práctica, para una PYME, son decisiones pequeñas y concretas.
Significa decirle al cliente, en el momento en que interactúa con el agente, que está hablando con un sistema automático y que puede pedir hablar con una persona. Significa tener un registro de las interacciones que puedas revisar si hay una queja. Significa no usar los datos que el cliente da en una interacción de soporte para alimentar un sistema de ventas sin su conocimiento.
No se trata de publicar un whitepaper sobre ética. Se trata de que cada punto de contacto con el agente sea honesto sobre lo que es.
La transparencia también tiene una dimensión interna. ¿Sabe tu equipo de ventas qué criterios usa el agente de CRM para priorizar leads? ¿Sabe tu equipo de atención al cliente qué información tiene el agente sobre el historial del cliente antes de cada conversación? Si la respuesta es no, tienes un problema de confianza interna antes de tener un problema de confianza externa.
Lo que está cambiando y por qué importa ahora
El AI Act europeo ya está en fase de aplicación progresiva. Las PYMES que operan en la UE —o que tienen clientes en la UE— van a tener que cumplir con requisitos de transparencia, supervisión humana y gestión de riesgos según el nivel de riesgo de sus sistemas.
Pero más allá de la regulación, hay algo que se mueve en el mercado: los clientes están empezando a preguntar. No todos, no siempre, pero la pregunta "¿usan IA para gestionar mis datos?" ya aparece. Y va a aparecer más.
Las PYMES que lleguen a esa pregunta con una respuesta clara —no una respuesta defensiva, sino una respuesta que explica qué, para qué y con qué límites— van a tener una ventaja competitiva real. No porque tengan la mejor tecnología, sino porque han pensado en ella con honestidad.
Una visión de lo que puede ser
Hay algo genuinamente bueno en lo que los agentes IA permiten hacer a una organización pequeña: estar disponible, ser consistente, gestionar volumen sin crecer el equipo de manera insostenible. Esas son ventajas reales que mejoran la vida de las personas que trabajan en esa empresa y de los clientes que la usan.
La ética no es el freno de eso. Es la condición para que funcione a largo plazo.
Una PYME que implementa un agente IA de forma transparente, con límites claros y con un equipo que lo entiende, no solo evita riesgos. Construye algo más difícil de copiar que la tecnología en sí: una reputación de que cuando algo falla, hay alguien que responde.
La pregunta que vale la pena hacerse antes de desplegar
¿Si este agente comete un error mañana, sabes exactamente qué va a pasar, quién se va a enterar y cómo lo vas a resolver?
Si la respuesta no es inmediata, la pregunta no es si implementar o no. La pregunta es qué necesitas decidir antes de hacerlo.
Audita tu agente antes de que lo haga un cliente
La mayoría de las organizaciones descubren los límites de sus agentes IA cuando un usuario los encuentra. Hay una forma mejor.
Antes de desplegar cualquier agente en producción, diseña un conjunto de casos de prueba adversariales: no los casos en los que el agente funciona bien, sino los que probablemente va a gestionar mal. Preguntas ambiguas, solicitudes que están fuera de su alcance, situaciones donde la respuesta correcta es "no lo sé". Si el agente no tiene una respuesta razonable para esos casos, no está listo.
El segundo paso es definir el «umbral de escalada»: el punto exacto en el que el sistema debe dejar de actuar solo y derivar a una persona. Ese umbral no puede ser vago ("cuando no esté seguro"). Tiene que ser específico: qué tipo de solicitud, qué nivel de consecuencia, qué información mínima debe pasarle al humano que recoge el caso.
El tercer paso —y el que más se omite— es revisar los registros de las primeras dos semanas de operación real con un par de ojos críticos. No para ver si el sistema funciona, sino para ver qué tipo de errores comete y si el patrón de esos errores dice algo sobre el diseño.
Actúa como un auditor crítico de sistemas de IA conversacional. Tengo un agente IA desplegado para [describe el caso de uso: atención al cliente / soporte interno / ventas / etc.]. Genera 10 casos de prueba adversariales: situaciones donde el agente probablemente fallará, responderá de forma inadecuada o tomará una decisión que debería haber escalado a un humano. Para cada caso incluye: - La solicitud o mensaje del usuario - Por qué es un caso límite - Qué respuesta sería aceptable y cuál sería inaceptable - Qué debería hacer el agente si no puede responder correctamente No me des los casos donde el agente funciona bien. Dame los que me van a dar problemas.
Especializada en Inteligencia Artificial aplicada y referente en IA ética. Editora de Promptorialist. Escribe sobre IA, ética y el cambio cultural que está reorganizando el trabajo.
Más sobre Marta
