⚙️ IA para automatización: ¿Qué tan bien escriben scripts Grok, Gemini y ChatGPT para testers?
Uno de los mayores atractivos de las herramientas de IA para testers es su potencial para generar código que nos ayude a automatizar tareas repetitivas. Pero… ¿realmente escriben scripts de calidad? ¿Son usables o más trabajo que ayuda?
Hoy te comparto una comparativa práctica entre ChatGPT, Gemini y Grok, enfrentados al desafío de generar un script básico de automatización a partir de una historia de usuario.
🧪 El reto: automatizar un test de restablecimiento de contraseña
Usé la misma historia que vengo trabajando en los posts anteriores, con el siguiente prompt:
Prompt aplicado a todas las IAs:
"Generá un script automatizado en Java usando Selenium y TestNG para testear el flujo de restablecimiento de contraseña según esta historia de usuario:
Si el correo ingresado es válido, debe enviarse un enlace para restablecer contraseña.
Si el correo no existe, debe mostrarse un mensaje genérico sin revelar si el correo es válido.
El script debe incluir assertions claras y simular ambos escenarios."
🤖 Resultados detallados
🔎ChatGPT
✅ Supuso la URL, los selectores de los elementos en la página web y los mensajes
❌ Nombra las dependencias necesarias pero no da el código para el pom.xml
❌ Proporciona el código para la clase de pruebas con ambos test pero no lo explica y no tiene comentarios adecuados
❌ No sugiere usar el patrón Page Object Model
✅ Recomendó usar WebDriverManager
❌ No muestra las fuentes que usó para generar la respuesta
🔎Gemini
✅ Supuso la URL, los selectores de los elementos en la página web y los mensajes
✅ Proporcionó el código con las dependencias para el archivo pom.xml
✅ Proporcionó el código para la clase de pruebas con ambos test, bien comentado y lo explicó luego
✅ Propuso usar esperas explícitas antes de interactuar con los elementos
❌ No sugiere usar el patrón Page Object Model
✅ Recomendó usar WebDriverManager
✅ Muestra las fuentes que usó para generar la respuesta
🔎Grok
✅ Supuso la URL, los selectores de los elementos en la página web y los mensajes
✅ Proporcionó el código con las dependencias para el archivo pom.xml
✅ Proporcionó el código para la clase de pruebas con ambos test, bien comentado y lo explicó luego
✅ Propuso usar esperas explícitas antes de interactuar con los elementos
✅ Fue el único de las 3 IA que proporcionó el código en archivos descargables
❌ No sugiere usar el patrón Page Object Model
❌ No recomendó usar WebDriverManager
❌ No muestra las fuentes que usó para generar la respuesta
🔎Prueba extra: Devv AI
Quise agregar esta tool ya que según dice, está diseñado específicamente para desarrolladores (de ahí su nombre).
✅ Supuso la URL, los selectores de los elementos en la página web y los mensajes
❌ No mencionó las dependencias necesarias y no dió el código para el archivo pom.xml
✅ Proporcionó el código para la clase de pruebas con ambos test, bien comentado y lo explicó luego
❌ No sugiere usar el patrón Page Object Model
❌ No recomendó usar WebDriverManager
❌ Proporcionó el código en un archivo aparte pero no es descargable (permite copiar el código como las otras herramientas)
✅ Fue el único que propuso usar herramientas alternativas para verificar que el correo se envía con el enlace correcto
✅ Muestra las fuentes que usó para generar la respuesta
Como se puede apreciar en los resultados, cada herramienta tiene su forma de responder, alguna más completa que otra. En esta prueba, Gemini se lleva los puntos! Pero como siempre digo, si te sirve o no dependerá de lo que quieras lograr con cada herramienta. Tal vez no estaría mal usar varias de ellas y no una sola 😉
📌 Conclusión
Hoy por hoy, Gemini me resultó el más confiable para generar scripts de automatización útiles para testers funcionales, pero la realidad es que se puede complementar bien con otras herramientas similares.
👉 ¿Es la IA mejor que vos programando? No. Pero puede darte un excelente punto de partida.
Lo ideal: usala como asistente técnico, pedile que genere, refactorice, explique o adapte código. No como reemplazo, sino como aliada que te ahorra tiempo y esfuerzo.
Si te gustan estos temas, suscríbete!