Les modèles d’intelligence artificielle (IA) et d’apprentissage profond nécessitent des mises à jour périodiques pour s’adapter aux nouvelles tâches ou aux changements dans les données. Cependant, ces mises à jour peuvent entraîner des coûts considérables en termes de ressources computationnelles et de consommation énergétique. Comment pouvons-nous prévoir ces coûts pour rendre l’IA plus durable ? Voici l’enjeu abordé par une équipe de chercheurs qui propose une solution novatrice
Les chercheurs ont développé une méthode appelée REpresentation Shift QUantifying Estimator (RESQUE) qui vise à prédire les coûts énergétiques et computationnels lors des mises à jour des modèles d’IA. Cette technique permet aux utilisateurs de prendre des décisions éclairées sur le moment et la manière de mettre à jour leurs modèles pour améliorer la durabilité de l’IA.
Les Types de Changements Nécessitant des Mises à Jour
RESQUE compare le jeu de données initial sur lequel un modèle d’apprentissage profond a été formé avec le nouveau jeu de données nécessaire pour la mise à jour. Grâce à cette comparaison, il est possible d’estimer les coûts en termes de puissance computationnelle et d’énergie. Les résultats sont présentés sous forme d’un indice unique, qui peut être comparé à cinq métriques spécifiques : époques, changement de paramètres, norme du gradient, carbone et énergie.
Deux principaux types de changements peuvent justifier une mise à jour du modèle : le décalage de tâche et le décalage de distribution. Le décalage de tâche se produit lorsque la fonction du modèle doit être modifiée, par exemple, pour identifier de nouveaux objets comme des véhicules ou des piétons, en plus des chiffres ou des symboles de trafic précédemment reconnus.
Le décalage de distribution, quant à lui, survient lorsque les données fournies au modèle changent, que ce soit par l’ajout de nouveaux types de données ou par une modification dans la manière dont elles sont codées. Ces changements obligent l’IA à être mise à jour pour conserver sa pertinence et son efficacité.
Les Bénéfices de RESQUE
Jung-Eun Kim, professeure adjointe en informatique à l’Université de Caroline du Nord et auteure correspondante de l’étude, a déclaré : «Des études ont été menées pour rendre l’entraînement des modèles d’apprentissage profond plus efficace. Cependant, sur leur cycle de vie, les modèles auront probablement besoin de multiples mises à jour.» Elle a souligné que « retravailler un modèle existant est beaucoup plus rentable en termes de coûts que de former un nouveau modèle à partir de zéro. »
RESQUE permet non seulement de prédire les coûts mais aussi de les contextualiser en termes de durabilité. Kim a ajouté : «Nous informons les utilisateurs de la quantité d’énergie, en kilowatts-heures, nécessaire pour retravailler le modèle, et nous prévoyons la quantité de carbone, en kilogrammes, qui sera émise pour fournir cette énergie.»
Les chercheurs ont mené des expériences approfondies avec plusieurs ensembles de données, divers décalages de distribution et de tâches pour valider la performance de RESQUE. Les résultats ont montré que les prédictions de RESQUE correspondent étroitement aux coûts réels des mises à jour des modèles d’apprentissage profond.
Dans un avenir proche, RESQUE pourrait être utilisé par quiconque a besoin de mettre à jour un modèle d’apprentissage profond, facilitant ainsi la planification des ressources computationnelles nécessaires et la prévision du temps requis pour la mise à jour. À plus long terme, cette méthode offre une compréhension plus approfondie des coûts liés aux modèles d’IA sur leur cycle de vie complet, contribuant ainsi à une gestion plus durable de l’IA.
Légende illustration : credit Igor Omilaev.
Article : ‘RESQUE: Quantifying Estimator to Task and Distribution Shift for Sustainable Model Reusability’ – DOI : abs/2412.15511
