ScarfBench : un benchmark public pour la migration des cadres Java

Aujourd’hui, nous lançons ScarfBench (Self-Contained Application Refactoring Benchmark), suite de benchmarks ouverte et classement public conçus pour évaluer les migrations Java d’entreprise automatisées et agentiques à travers les cadres Jakarta EE, Quarkus et Spring.

Dans un contexte où les entreprises modernisent leurs systèmes essentiels, la migration des cadres est devenue une priorité stratégique. Parallèlement, les outils de développement assistés par l’IA sont de plus en plus utilisés pour accélérer ces transitions.

ScarfBench offre une méthode standardisée et reproductible pour évaluer si une migration pilotée par l’IA produit un système fonctionnel et fiable, et non seulement du code compilable. Il permet une évaluation cohérente à l’aide de workloads validées de type entreprise et d’une notation transparente.

Il est essentiel de veiller à ce que les applications d’entreprise conservent les mêmes fonctionnalités, la même qualité et la même performance après migration.

• La migration d’enterprise doit préserver :
• Logique métier et comportement des domaines
• Limites de transaction et garanties de cohérence
• Cycles de vie de l’injection de dépendances et structure architecturale
• Mappages de persistance et intégrité relationnelle
• Configurations de sécurité et contrats d’intégration

Le code qui se compile ne garantit ni que l’application démarrera correctement, ni qu’elle conservera la parité comportementale, ni qu’elle fonctionnera de manière fiable dans des environnements similaires à ceux de la production. ScarfBench établit une base d’évaluation commune pour la migration à l’échelle de l’entreprise, afin de garantir que ces catégories ont été respectées.

Scarfbench propose une suite d’applications Java à travers les différents cadres et permet une évaluation systématique de la capacité des agents d’IA à faire migrer les applications Java d’entreprise tout en préservant la fonctionnalité, les schémas idiomatiques et l’intégrité architecturale.

Plus précisément, il fournit les sept composantes suivantes :

1. Applications d’entreprise vérifiées par les développeurs et mises en œuvre sur Jakarta EE, Quarkus et Spring
2. Exemples ciblés qui isolent les préoccupations technologiques spécifiques de l’entreprise
3. Des applications complètes qui combinent plusieurs couches architecturales pour former des systèmes complets
4. Workflows automatisés de validation du build et du démarrage
5. Tests de validation qui vérifient le comportement d’exécution et l’équivalence fonctionnelle
6. Un classement public permettant de comparer les outils et les agents côte à côte
7. Documentation complète, compagnon CLI d’exécution et guide de démarrage rapide

Chaque workload a été mise en œuvre manuellement et validée par des développeurs expérimentés, afin de garantir l’équivalence fonctionnelle et l’utilisation idiomatique du cadre dans toutes les variantes.

Les grandes applications d’entreprise sont organisées en niveaux logiques (ou couches) qui séparent les préoccupations. En traitant chacune de ces couches comme étant distincte, on peut procéder à une modernisation par couches. Notre benchmark isole les technologies de base dans chaque couche pour garantir des workflows cohérents et vérifiables, qui peuvent migrer et être testés sur l’ensemble de la configuration. 

• Workloads ciblées : les workloads ciblées isolent des problèmes d’entreprise tels que le comportement de persistance, les schémas d’injection de dépendances, les mécanismes d’intégration, les interfaces Web et les configurations de sécurité. Ces exemples permettent aux équipes d’évaluer la manière dont un outil de migration gère des structures de cadre spécifiques dans des scénarios contrôlés.
• Applications complètes : les applications complètes intègrent plusieurs couches architecturales dans des systèmes réalistes. Ces workloads évaluent si l’approche de la migration maintient l’intégrité du build, la stabilité d’exécution et un comportement correct à travers les couches interconnectées.

Ensemble, ces workloads ciblées et ces scénarios d’application complète permettent d’expérimenter de manière ciblée et d’évaluer les approches de migration au niveau du système, tandis que le benchmark est conçu pour être complété au fil du temps par des cadres supplémentaires, des workloads plus complexes et des scénarios élaborés par la communauté.

ScarfBench soutient des workflows cohérents et reproductibles. Le classement public regroupe des indicateurs de performance tels que la réussite des builds, la validation du démarrage et les résultats des tests de validation, permettant une comparaison objective et des progrès mesurables.

ScarfBench soutient un large éventail de communautés techniques intéressées par le développement et la transformation d’applications pilotées par l’IA :

1. Les équipes de recherche qui étudient la transformation de programmes assistée par l’IA pour évaluer leur approche
2. Les concepteurs d’outils qui développent des systèmes de modernisation automatisés afin d’évaluer leur efficacité
3. Les architectes d’enterprise qui évaluent les stratégies de migration
4. Les contributeurs open source intéressés par le benchmarking reproductible

ScarfBench est bien plus qu’un benchmark. En combinant des benchmarks publics, des outils reproductibles, des indicateurs transparents et un classement public, ScarfBench fournit la base technique nécessaire pour mesurer et comparer les solutions agentiques en toute confiance.

Découvrir ScarfBench

Voir un aperçu du benchmark

Lire le guide de démarrage rapide