L’intelligence artificielle (IA) a connu des avancées spectaculaires au cours des dernières années, en particulier grâce aux réseaux de neurones profonds — pensons seulement à ChatGPT. Or, les millions de calculs qui servent à faire rouler ces technologies sont gourmands en énergie. Alors que la demande pour des solutions qui intègrent l’IA est en constante augmentation, le professeur-chercheur en génie électrique à Polytechnique Montréal, François Leduc-Primeau, souhaite réduire la consommation d’énergie de cette technologie de l’IA.
Les réseaux de neurones profonds s’inspirent de la façon dont fonctionne notre cerveau, en apprenant à partir d’exemples. Pour résoudre un problème, ils doivent effectuer un nombre phénoménal de calculs, définis en fonction de millions de paramètres appris; ils doivent alors creuser leur mémoire pour retrouver ces paramètres, ce qui est très énergivore.
Afin de réduire cette « facture d’énergie », le chercheur a exploré l’utilisation de nouveaux types de circuits électroniques qui permettraient d’effectuer les calculs directement à l’endroit où sont stockés les paramètres du réseau, comme le fait d’ailleurs notre cerveau. Cette façon de faire, appelée « calcul en mémoire », produit des résultats imparfaits. Le chercheur et son équipe ont donc proposé de nouvelles méthodes pour entraîner des réseaux de neurones capables de toujours fonctionner correctement, même en présence d’imprécisions dans les calculs.
Ces résultats s’avèrent prometteurs pour plusieurs applications. En effet, un réseau de neurones frugal en énergie permet d’intégrer l’IA dans de plus petits appareils (qui ont besoin de moins d’énergie pour fonctionner), ce qui rend possibles des applications en robotique ou pour du matériel médical, par exemple. Plus largement, le développement de ces réseaux de neurones spécialisés permet de réduire la consommation globale d’énergie par l’IA, une bonne chose en cette époque où nous devons impérativement revoir notre empreinte environnementale collective.
Références :
[1] Chitsaz, K., Mordido, G., David, J.-P., and Leduc-Primeau, F. (2023). “Training DNNs Resilient to Adversarial and Random Bit-flips by Learning Quantization Ranges”. Transactions on Machine Learning Research (TLMR).
[2] Kern, J., Henwood, S., Mordido, G., Dupraz, E., Aïssa-El-Bey, A., Savaria, Y., and Leduc-Primeau, F. (2024). “Fast and Accurate Output Error Estimation for Memristor-Based Deep Neural Networks”. IEEE Transactions on Signal Processing, vol. 72, 1205-1218.