El 12 de marzo de 2024, Cognition Labs anunció el lanzamiento de Devin, el primer ingeniero de software de IA de la historia. Este asistente de desarrollo de software es construido en la vena de Copilot (construido por GitHub, Microsoft, y OpenAI). Sin embargo, Devin supera y es capaz de resolver tareas de ingeniería utilizando su shell, editor de código y navegador web. Puede escribir, depurar y desplegar el código para crear sitios web funcionales. Devin ha publicado en X que ha superado con éxito las entrevistas prácticas de ingeniería de las principales empresas de IA. El primer ingeniero de software de IA también ha afirmado haber completado tareas reales de ingeniería de software en Upwork.
Devin es el nuevo estado del arte en la evaluación comparativa de codificación SWE-Bench. En una evaluación reciente en la que se utilizó el punto de referencia SWE-Bench, una prueba diseñada para medir la eficacia de la IA a la hora de resolver problemas de GitHub en proyectos reales de código abierto, el modelo de IA llamado Devin logró una tasa de resolución de problemas sin asistencia del 13,86%. Este rendimiento supera significativamente los mejores resultados anteriores, en los que el modelo líder consiguió resolver el 1,96% de las incidencias sin ayuda y el 4,80% con asistencia.
La IA puede ayudar a automatizar las tareas rutinarias del ingeniero mientras éste se centra en problemas más complejos. Devin puede aprender el uso de tecnologías desconocidas, contribuir a repositorios de producción maduros, entrenar y afinar sus propios modelos de IA, abordar problemas en proyectos de código abierto, crear extensiones de Chrome personalizadas y ayudar a conseguir trabajos reales en Upwork.
Cuando se puso a prueba en retos del mundo real, Devin superó a los modelos de IA anteriores resolviendo el 14% de los problemas, frente a algo menos del 2% de sus predecesores.
El Cofundador y CEO de Cognition Scott Wu dijo a Bloomberg «Enseñar a la IA a ser un programador es un problema algorítmico muy profundo que requiere que el sistema tome decisiones complejas y mire unos pasos hacia el futuro para decidir qué ruta debe elegir.» «Es casi como un juego al que todos hemos estado jugando en nuestras mentes durante años, y ahora existe esta oportunidad de codificarlo en un sistema de IA», añadió.
Devin aún no está disponible para el público, y la empresa permite el acceso a clientes seleccionados. La introducción de Devin representa un cambio fundamental en el desarrollo de software asistido por IA, ya que ofrece a los desarrolladores un completo asistente de IA para sus proyectos. Este avance va más allá de las capacidades de las herramientas anteriores, que se limitaban a generar fragmentos básicos de código o a proporcionar sugerencias, al ofrecer una solución más integrada y completa para las tareas de ingeniería. Sin embargo, junto con los aspectos creativos e innovadores del desarrollo de software, la supervisión humana sigue siendo crucial. Los sistemas de IA como Devin podrían servir como potentes herramientas, pero es poco probable que sustituyan las necesidades de los ingenieros humanos.