La creatividad del Tester y la IA Generativa

 

Entre la controversia, los cambios y las novedades, se siente una gran disposición a no dejarse «ganar» por la IA, a usarla en su beneficio, a automatizar cada vez tareas mecánicas o a realizar cualquier otra actividad que se crea relevante. Lo cierto es que la incertidumbre crece, los datos y la información cada vez más está rondando por todas partes. Pero a fin de cuentas, la IA es y seguirá siendo software. Es innegable que se han abierto tanto oportunidades como interrogantes éticas. La IAG es un software que en la medida que aprende de nuestras tareas, aprende con todo y errores, un software que se llena de sesgos (no racionales aunque parezca) sesgos generados por el mismo software, por su propio modelo de aprendizaje. En este blog exploraremos de manera general cómo el tester creativo desempeña un papel fundamental en esta DOFA de la IAG, dónde quizá una de las mayores preocupaciones estén en torno a la dinámica ética.

Nuestra creatividad es y será nuestra fuerza para garantizar un uso responsable de la IA Generativa. En este corto blog, me enfocaré en la perspectiva de pruebas de software, más que en la incertidumbre/miedos de la IA, y en los posibles tipos o estrategias de pruebas que como líderes y testers debemos comenzar a desarrollar.

Es claro que las máquinas carecen de capacidad para comprender y aplicar principios éticos, así como sesgos emocionales, personales o sociales. Bajo esta perspectiva, aunque la información que nos entrega parezca relevante y convincente no siempre es fiable. Por tanto, enfoques como las Pruebas éticas para la IAG cobran una gran importancia,  dados los límites éticos que deberán ser evaluados. Por ejemplo, respetar leyes de privacidad, derechos de autor y seguridad de autenticación por voz.

En estos escenarios la creatividad se convierte en un recurso invaluable para que como testers podamos lograr escenarios desafiantes e inesperados, es así que los enfoques tradicionales de pruebas quizá no sean suficientes ¡Ahora más que nunca es momento de pensar «Out of the Box»! Habilidad que los testers tenemos muy desarrollada.

Otras formas o estrategias de pruebas de software deberían validar escenarios de resiliencia de la IA, para identificar cómo se comporta el sistema cuando se enfrenta con situaciones que no se presentaron durante su entrenamiento. Nuestro enfoque creativo aquí será desafiar la IA para generar condiciones inusuales y documentar su reacción.

Las pruebas a Nivel de integración son fundamentales, pues muchas organizaciones integrarán IA a sus sistemas, por tanto además de ser necesario evaluar que funcione correctamente, también es sumamente importante evaluar que la IA interactúe como se espera con los demás sistemas, en torno a los diferentes atributos de calidad de software

El apoyo de la IAG nos facilita trabajos repetitivos y  mecánicos, es así como nuestro conocimiento en testing de la mano con la creatividad nos permitirán experimentar dónde y cómo aplicarla para mejorar nuestras pruebas; por ejemplo, en contextos donde requerimos diseñar altas cargas de trabajo para simular usuarios reales, generar datos de prueba diversos y complejos para simular diferentes escenarios realistas, o realizar análisis para predecir el comportamiento del sistema en términos de rendimiento, funcionalidad, seguridad, entre otros.

Sin duda, seguirán surgiendo herramientas, tipos de pruebas, estrategias y millones de formas de «Hacer bien las cosas» la IAG seguirá evolucionando así como presentando limitaciones.

Respecto a ChatGPT, para esta nueva versión (4.0) se ha trabajado en la reducción del sesgo y respuestas incorrectas, así como en la reducción de respuestas incorrectas, su capacidad para comprender textos más largos es mayor y tiene una mejor coherencia con el diálogo, sin embargo, recordemos que estas inteligencias aún tienen limitaciones en la interpretación del contexto y su conocimiento no es especializado, por tanto, tienen muchas dificultades para generar casos de prueba inusuales y no convencionales, a pensar de sus respuestas coherentes, la mirada humana es crucial en el análisis y evaluación crítica de las respuestas generadas.

Mientras que la IAG genera oportunidades plantea desafíos motivantes en términos de pruebas, llegarán muchos productos y modelos basados en todo tipo de IA para ser evaluados, así que la capacidad del tester para usar la tecnología y las herramientas a su favor, suma a la capacidad para diseñar escenarios poco convencionales que ayuden a proteger a las personas y a promover una IAG ética y confiable.

«La creatividad del tester es la fuerza impulsora detrás de una IA generativa responsable» ChatGPT

Te comparto un plus con algunos TIPS para pensar fuera de la caja, no es necesario aplicarlos todos estrictamente, pero estoy segura que aplicar alguno de estos te servirá :

• Lee contenidos diferentes a tu elección cotidiana
• Estimula la creatividad con cambiar de ambiente, enfrenta problemas que no hayas enfrentado antes (sin ponerte en riesgo por favor)
• Aprende a decir NO.
• Considera alternativas buscando diferentes puntos de vista
• ¿Qué pasaría sí?
• Meditar no siempre consiste en cerrar los ojos, es posible que medites mientras caminas o haces una actividad que te conecte con tu SER.
• Cambia tu rutina
• Ten tiempo para ejecutar algo pequeño (Pasos de bebé) le enseñas a tu cerebro a actuar con logros a corto plazo.
• Define tus pilares, por ejemplo: Estar en el presente, respeto, escucha Real (siempre tendemos a juzgar o contradecir) permite el crecimiento escuchando opiniones, sin importar que no estés de acuerdo.
• y como eres tester ¡Mejora tu inglés!
• Una creencia limitante te dice «Así me enseñaron», «así soy», «así aprendí» elimínalas, son un gran enemigo para pensar fuera de la caja.
• Aprende una receta deliciosa y nos la compartes.

Les comparto la respuesta de ChatGPT-4 a una de mis preguntas sobre el cambio de las pruebas de software para IA Generativa:

 

1. Pruebas Funcionales: Estas pruebas buscan verificar que la IAG produce los resultados esperados en condiciones normales. Esto podría incluir, por ejemplo, comprobar que un modelo generativo crea imágenes o textos de calidad bajo ciertas especificaciones.

2. Pruebas de Robustez: Estas pruebas evalúan cómo la IAG se comporta frente a entradas inesperadas o condiciones adversas. Por ejemplo, ¿cómo reacciona un modelo de texto cuando se le presenta una entrada incoherente o contradictoria?

3. Pruebas de Sesgo y Equidad: Dada la importancia de la ética en la IA, es crucial comprobar si un modelo está introduciendo sesgos inadvertidos. Estas pruebas buscan identificar y corregir cualquier tendencia injusta en los resultados generados.

4. Pruebas de Seguridad: Es esencial comprobar si es posible que atacantes malintencionados exploten el modelo generativo de alguna manera, ya sea para extraer información confidencial o para hacer que el modelo genere salidas peligrosas.

5. Pruebas de Rendimiento: Estas pruebas evalúan cuánto tiempo lleva a la IAG generar resultados y si puede hacerlo a la escala y velocidad necesarias para aplicaciones del mundo real.

6. Pruebas de Generalización: Se verifica que el modelo puede generar resultados de calidad en un amplio rango de entradas, no solo en aquellas con las que fue entrenado.

7. Pruebas de Regresión: Cuando se realiza una actualización o mejora en el modelo, es vital asegurarse de que las funciones previamente validadas siguen funcionando como se espera.

8. Pruebas de Adversidad: Estas pruebas buscan identificar vulnerabilidades en un modelo al exponerlo a entradas diseñadas específicamente para confundirlo o engañarlo.

9. Pruebas de Interpretabilidad: Si bien la IAG a menudo opera de manera «caja negra», es cada vez más importante para muchos aplicativos entender cómo y por qué la IAG toma ciertas decisiones.

10. Validación y Verificación: Estas técnicas se emplean para asegurarse de que el modelo cumple con todos los requisitos y especificaciones iniciales, y que funciona de la manera prevista.

11. Pruebas de Stress: Estas pruebas buscan determinar los límites de un sistema al exponerlo a cargas extremas o a vastas cantidades de datos.

Es vital que los testers estén familiarizados con estos tipos de pruebas y estén preparados para adaptarse a medida que surgen nuevos desafíos y técnicas en el campo de la IAG.