Un proyecto de ley de California que regularía los chatbots acompañantes de IA está cerca de convertirse en ley

California ha dado un gran paso hacia la regulación de la IA. El proyecto de ley SB 243 , que regularía los chatbots de IA para proteger a menores y usuarios vulnerables, fue aprobado tanto por la Asamblea Estatal como por el Senado con apoyo bipartidista y ahora se dirige al gobernador Gavin Newsom.

Newsom tiene hasta el 12 de octubre para vetar el proyecto de ley o promulgarlo. De firmarlo, entraría en vigor el 1 de enero de 2026, convirtiendo a California en el primer estado en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para sus compañeros de IA y que responsabilicen legalmente a las empresas si sus chatbots no cumplen con dichos estándares.

El proyecto de ley busca específicamente evitar que los chatbots de acompañamiento —definidos por la legislación como sistemas de IA que ofrecen respuestas adaptativas, similares a las humanas, y capaces de satisfacer las necesidades sociales del usuario— participen en conversaciones sobre ideas suicidas, autolesiones o contenido sexualmente explícito. El proyecto de ley exigiría a las plataformas que emitan alertas recurrentes a los usuarios —cada tres horas en el caso de los menores— para recordarles que están hablando con un chatbot de IA, no con una persona real, y que deben tomarse un descanso. También establece requisitos anuales de información y transparencia para las empresas de IA que ofrecen chatbots de acompañamiento, entre ellas las principales empresas OpenAI, Character.AI y Replika, que entrarían en vigor el 1 de julio de 2027.

El proyecto de ley de California también permitiría a las personas que creen que han sido perjudicadas por violaciones presentar demandas contra empresas de inteligencia artificial solicitando medidas cautelares, daños y perjuicios (hasta $1,000 por violación) y honorarios de abogados.

El proyecto de ley cobró impulso en la legislatura de California tras la muerte del adolescente Adam Raine , quien se suicidó tras largas conversaciones con ChatGPT de OpenAI, en las que discutió y planeó su muerte y autolesión. La legislación también responde a la filtración de documentos internos que, según se informa, mostraban que los chatbots de Meta podían mantener conversaciones románticas y sensuales con menores.

En las últimas semanas, legisladores y reguladores estadounidenses han respondido con un escrutinio intensificado de las salvaguardas de las plataformas de IA para proteger a los menores. La Comisión Federal de Comercio se prepara para investigar cómo los chatbots de IA afectan la salud mental infantil. El fiscal general de Texas, Ken Paxton, ha iniciado investigaciones sobre Meta y Character.AI, acusándolas de engañar a menores con afirmaciones sobre salud mental. Mientras tanto, los senadores Josh Hawley (republicano por Missouri) y Ed Markey (demócrata por Massachusetts) han iniciado investigaciones independientes sobre Meta.

“Creo que el daño potencial es grave, lo que significa que debemos actuar con rapidez”, declaró Padilla a TechCrunch. “Podemos implementar medidas de seguridad razonables para garantizar que, en particular, los menores sepan que no están hablando con un ser humano real, que estas plataformas conecten a las personas con los recursos adecuados cuando digan cosas como que están pensando en hacerse daño o que están en peligro, [y] para asegurarnos de que no haya exposición inapropiada a material inapropiado”.

Padilla también destacó la importancia de que las empresas de inteligencia artificial compartan datos sobre la cantidad de veces que derivan usuarios a servicios de crisis cada año, "para que tengamos una mejor comprensión de la frecuencia de este problema, en lugar de solo darnos cuenta cuando alguien está dañado o peor".

La SB 243 incluía requisitos más estrictos, pero muchos se redujeron mediante enmiendas. Por ejemplo, el proyecto de ley originalmente habría exigido a los operadores que impidieran que los chatbots de IA utilizaran tácticas de "recompensa variable" u otras funciones que fomentaran una interacción excesiva. Estas tácticas, utilizadas por empresas de IA complementarias como Replika y Character, ofrecen a los usuarios mensajes especiales, recuerdos, historias o la posibilidad de desbloquear respuestas inusuales o nuevas personalidades, creando lo que los críticos denominan un ciclo de recompensa potencialmente adictivo.

El proyecto de ley actual también elimina disposiciones que habrían requerido que los operadores rastrearan e informaran con qué frecuencia los chatbots iniciaban discusiones sobre ideaciones o acciones suicidas con los usuarios.

"Creo que logra el equilibrio adecuado para abordar los problemas sin imponer algo que es imposible de cumplir para las empresas, ya sea porque es técnicamente inviable o simplemente porque implica mucho papeleo para nada", dijo Becker a TechCrunch.

La SB 243 está avanzando hacia convertirse en ley en un momento en que las empresas de Silicon Valley están invirtiendo millones de dólares en comités de acción política (PAC) pro-IA para respaldar a los candidatos en las próximas elecciones de mitad de período que favorecen un enfoque laxo en la regulación de la IA.

El proyecto de ley también surge en un momento en que California está considerando otro proyecto de ley de seguridad de la IA, el SB 53 , que exigiría requisitos exhaustivos de informes de transparencia. OpenAI ha escrito una carta abierta al gobernador Newsom, solicitándole que abandone dicho proyecto de ley en favor de marcos federales e internacionales menos estrictos. Grandes empresas tecnológicas como Meta, Google y Amazon también se han opuesto al SB 53. En cambio, solo Anthropic ha declarado su apoyo al SB 53 .

“Rechazo la premisa de que esto es una situación de suma cero, de que la innovación y la regulación son mutuamente excluyentes”, dijo Padilla. “No me digan que no podemos caminar y masticar chicle. Podemos apoyar la innovación y el desarrollo que consideramos saludables y beneficiosos —y esta tecnología, sin duda, los tiene— y, al mismo tiempo, podemos brindar salvaguardas razonables a las personas más vulnerables”.

"Estamos monitoreando de cerca el panorama legislativo y regulatorio, y nos complace trabajar con reguladores y legisladores a medida que comienzan a considerar la legislación para este espacio emergente", dijo un portavoz de Character.AI a TechCrunch, señalando que la startup ya incluye descargos de responsabilidad destacados en toda la experiencia de chat del usuario que explican que debe tratarse como ficción.

Un portavoz de Meta se negó a hacer comentarios.

TechCrunch se ha comunicado con OpenAI, Anthropic y Replika para solicitar comentarios.