¿Puede ChatGPT remplazar a un Terapeuta?

¿ChatGPT sin un marco de responsabilidad?

La investigación realizada por Zainab Iftikhar, Amy Xiao, Sean Ransom, Jeff Huang y Harini Suresh, del Departamento de Ciencias de la Computación de la Universidad de Brown, pone en evidencia fallas operativas en sistemas de LLM y evidencia la falta de un marco institucional que integre de forma coherente las disciplinas involucradas en el diseño, despliegue y supervisión de estos modelos.

Uno de los problemas más urgentes es la titularidad de la responsabilidad cuando un sistema de IA comete una falta ética. Esto es especialmente crítico en contextos sensibles como la salud mental, donde las decisiones automatizadas pueden afectar directamente el bienestar de las personas.

¿Quién debe responder si un modelo de IA actúa de manera inapropiada o causa daño? ¿El desarrollador del modelo? ¿El responsable del diseño y entrenamiento?

¿La empresa que comercializa el sistema? ¿la institución que lo implementa en sus servicios, el usuario que interactúa con la IA?

La realidad es que la fragmentación de actores diluye la noción clásica de responsabilidad profesional. "Esto genera un vacío legal y ético que ningún marco normativo actual ha logrado resolver completamente," afirma Mtro. Marcelo García Almaguer en su reciente artículo. Este vacío obliga a repensar la responsabilidad en términos colectivos y multidisciplinarios, donde la rendición de cuentas se distribuya y se establezcan mecanismos claros para proteger a los usuarios.

Otro desafío clave es definir quién debe diseñar y ejecutar la supervisión de los sistemas de inteligencia artificial. La pregunta central es si esta tarea debe ser exclusiva del Estado o si es necesario avanzar hacia esquemas híbridos de co-regulación.

Regulación estatal exclusiva: El Estado establece normas y supervisa el cumplimiento, garantizando protección pública y transparencia.

Co-regulación: Se combinan actores públicos, privados y comunidades especializadas para diseñar y aplicar reglas. Esto puede incluir expertos en ética, derecho, tecnología y usuarios afectados.

La naturaleza transnacional de la IA complica aún más esta cuestión. Los sistemas operan en múltiples jurisdicciones, lo que desafía las fronteras tradicionales y exige cooperación internacional. Por ejemplo, un algoritmo desarrollado en Estados Unidos puede ser utilizado en Europa o Asia, donde las leyes y valores pueden diferir. Este contexto requiere marcos regulatorios flexibles y colaborativos que integren diversas perspectivas y permitan adaptarse a la rápida evolución tecnológica.

¿Hasta qué punto debemos permitir que los modelos de lenguaje entren en nuestra esfera más íntima, moldeando decisiones, emociones y percepciones sin un marco claro de responsabilidad?

Un aspecto ético relevante es la comercialización de sistemas que simulan empatía, como asistentes virtuales o chatbots en salud mental. La posibilidad de monetizar estas interacciones genera tensiones importantes.

¿Es legítimo ofrecer como producto una interacción que puede parecer emocionalmente auténtica pero que en realidad es una simulación? Esto plantea preguntas sobre la transparencia y el consentimiento informado de los usuarios. Por ejemplo, un paciente que busca consejo o apoyo emocional puede no ser consciente de que está interactuando con un programa automatizado sin capacidad real de comprensión humana. Esto puede afectar la confianza y la efectividad del tratamiento.

Las empresas deben equilibrar la innovación comercial con el respeto a la dignidad y los derechos de los usuarios, garantizando claridad sobre la naturaleza del servicio y sus limitaciones.

¿Puede ChatGPT remplazar a un Terapeuta? La gobernanza digital en la era de la inteligencia artificial enfrenta retos que van más allá de la tecnología. La responsabilidad fragmentada, la regulación transnacional y las tensiones éticas en la comercialización exigen respuestas integrales. Para avanzar, es necesario:

• Crear marcos institucionales multidisciplinarios.

• Establecer mecanismos claros de responsabilidad compartida.

• Diseñar esquemas regulatorios flexibles que incluyan a todos los actores relevantes.

• Garantizar transparencia y protección para los usuarios.

  
  

Solo así se podrá aprovechar el potencial de la IA de manera segura, justa y ética, construyendo confianza y respeto en la sociedad.