Resumen

En los procesos ágiles de desarrollo de software, concretamente dentro de las aplicaciones inteligentes que aprovechan la inteligencia artificial (IA), Smart Product Backlog (SPB) sirve como artefacto que incluye tanto las funcionalidades implementables con IA como las que no la utilizan. Se ha trabajado mucho en el desarrollo de modelos de Procesamiento del Lenguaje Natural (PLN), y los Grandes Modelos Lingüísticos (LLM) han demostrado un rendimiento excepcional. Sin embargo, sigue sin respuesta la cuestión de si los LLM pueden utilizarse en tareas de clasificación automática sin anotación previa, permitiendo así la extracción directa de la cartera de productos inteligentes (SPB). En este estudio, comparamos la eficacia de las técnicas de ajuste fino con los métodos de «incitación» para determinar el potencial de modelos como ChatGPT-4o, Gemini Pro 1.5 y ChaGPT-Mini. Se construyó un conjunto de datos con historias de usuario clasificadas manualmente por un grupo de expertos, lo que permitió ensamblar los experimentos y crear las respectivas tablas de contingencia. Las métricas de rendimiento de clasificación de cada LLM se evaluaron estadísticamente; se utilizaron la precisión, la sensibilidad y la puntuación F1 para evaluar la eficacia de cada modelo. Este enfoque comparativo pretendía destacar los puntos fuertes y las limitaciones de cada LLM a la hora de ayudar de forma eficaz y precisa en la construcción del SPB. Este análisis comparativo demuestra que ChatGPT-Mini tiene limitaciones a la hora de equilibrar precisión y sensibilidad. Aunque Gemini Pro 1.5 fue superior en las puntuaciones de precisión y ChatGPT tuvo un buen rendimiento, ninguno de los dos es lo suficientemente robusto como para construir una herramienta totalmente automatizada para la clasificación de historias de usuario. Por lo tanto, identificamos la necesidad de desarrollar un clasificador especializado que permita la construcción de una herramienta automatizada para recomendar historias de usuario viables para el desarrollo de IA, apoyando así la toma de decisiones en proyectos de software ágiles.

• Materias:Acetamida
• Subjects:Acetamida
• Palabras claves:Especificación de requisitos de software; Clasificación de historias de usuario; Backlog de producto inteligente; Identificador inteligente de historias de usuario; Modelos de lenguaje a gran escala; Inteligencia artificial
• Keywords:Software requirements specification; User story classification; Smart product backlog; Smart user story identifier; Large scale language models; Artificial intelligence