AbiertoAI está dando un paso adelante con su próxima generación modelo de inteligencia syntheticpero la empresa recién formada Comité de Seguridad tiene a algunos expertos levantando las cejas.
El anuncio del gigante tecnológico el martes (28 de mayo) de que está entrenando una IA de vanguardia mientras lanza un tablero de seguridad puede parecer un paso responsable. Aún así, el diablo está en los detalles: el comité parece repleto de expertos en OpenAI y las voces externas están ausentes.
La carrera armamentista de la IA es de alto riesgo juego, con un inmenso potencial de ganancias y peligros. Mientras las empresas compiten por desarrollar los sistemas de inteligencia synthetic más avanzados, la presión para priorizar la velocidad sobre la seguridad es intensa. Pero ahora que la IA está a punto de revolucionar sectores que van desde las finanzas hasta la atención sanitaria, las consecuencias de equivocarse podrían ser de gran alcance.
“La junta directiva parece estar formada enteramente por empleados o ejecutivos de OpenAI”. A John Bambénpresidente de empresa de ciberseguridad Bambenek Consulting, dijo a PYMNTS. “Será difícil evitar que se establezca un efecto de cámara de eco que pueda pasar por alto los riesgos de los modelos más avanzados”.
OpenAI no respondió de inmediato a la solicitud de comentarios de PYMNTS.
Diversidad de pensamiento
OpenAI ha comenzado a entrenar su modelo de IA de próxima generación, que se espera para superar las capacidades de su modelo líder precise, GPT-4. El nuevo modelo, denominado “modelo de la próxima frontera”, es un paso hacia el objetivo de OpenAI de lograr inteligencia synthetic common (AGI), una forma de IA que puede realizar una amplia gama de tareas a un nivel comparable al de los humanos. Es possible que el nuevo modelo impulse varias herramientas de inteligencia synthetic generativa, incluidos generadores de imágenes, asistentes virtuales, motores de búsqueda y el chatbot de la compañía. ChatGPT.
OpenAI formó un nuevo comité para evaluar y abordar cualquier inquietud a la luz de los riesgos potenciales asociados con su avanzada tecnología. El comité estará codirigido por el CEO y el cofundador. Sam Altmanjunto con los miembros de la junta Bret Taylor, Adán D’Angelo y Nicole Seligman.
Además, cinco de los aspectos técnicos y expertos en políticas formará parte del comité y aportará su experiencia en preparación, sistemas de seguridad, ciencia de alineación y seguridad. El comité también consultará con expertos técnicos y de seguridad externos para respaldar su trabajo. Durante los próximos 90 días, el enfoque principal del comité será revisar y desarrollar los procesos y salvaguardas de la empresa, después de lo cual presentará sus recomendaciones al completo junta.
A medida que la IA avanza a una velocidad vertiginosa, los expertos hacen sonar la alarma sobre la necesidad de contar con perspectivas diversas para dar forma a su desarrollo.
“Fomentar la diversidad de pensamiento en los equipos de IA también es essential para ayudar a combatir los prejuicios y el entrenamiento dañino. y/o producción,” Nicole Cariñenavicepresidente de IA cibernética estratégica en una empresa de ciberseguridad rastro oscurodijo a PYMNTS.
Pero no se trata sólo de evitar obstáculos; se trata de desbloquear todo el potencial de la IA.
“Lo más importante es que la IA debería ser usado responsablemente, con seguridad y protección”, enfatizó Carignan. “El riesgo que plantea la IA es a menudo en la forma se adopta”.
Integridad de los datos
Más allá de la sala de juntas, los expertos también destacaron la importancia de la integridad de los datos para garantizar la confiabilidad de la IA.
“A medida que la innovación en IA continúa desarrollándose a un ritmo rápido“Esperamos ver compromisos similares para la ciencia y la integridad de los datos”, dijo Carignan.
zendata CEO Narayana Pappu Señaló los modelos de supervisión de otras industrias como posibles plantillas para la gobernanza de la IA.
“Aunque el campo de la IA es bastante nuevo, existen instituciones paralelas en otras industrias, como las juntas de revisión de instituciones que gobiernan la investigación médica en seres humanos, con igual importancia”, dijo Pappu a PYMNTS.
Mientras el polvo se asienta tras el anuncio de OpenAI, una cosa está clara: el camino hacia la innovación responsable en IA esta pavimentado con colaboración.
“No es ninguna sorpresa que OpenAI cree un nuevo comité de seguridad de IA y comience a entrenar su próximo gran modelo de IA, especialmente después de la reciente acuerdo en Seúl, donde los líderes mundiales se comprometieron con el desarrollo responsable de la IA”, Esteban Kowskidirector de tecnología de campo en Barra oblicuaSiguiente Seguridad del correo electrónico+dijo a PYMNTS.
El comité de seguridad de OpenAI puede ser un comienzo, pero es solo la apertura de una conversación mucho más amplia sobre el papel de la IA en la configuración del futuro de los negocios y la sociedad. Una cultura de transparencia, colaboración y responsabilidad que se extienda más allá de los muros de cualquier empresa es esencial para aprovechar el potencial de la IA y al mismo tiempo afrontar sus riesgos.
Para conocer toda la cobertura de IA de PYMNTS, suscríbase al boletín diario de IA.
