Grâce à la combinaison du deep learning, du traitement du langage naturel et de la vision par ordinateur, Amazon parvient à dimensionner correctement ses colis.
Trouver systématiquement la taille de colis adaptée à chaque article n’est pas chose simple, surtout pour Amazon, dont le catalogue compte plusieurs centaines de millions de références. Et vu l’ampleur même de l’activité d’Amazon, il n’est pas question de procéder par inspection manuelle pour choisir systématiquement le bon emballage. Des règles générales de conditionnement classiques ne peuvent pas s’appliquer. Le recours à un mécanisme automatisé et intelligent s’impose, capable de s’adapter rapidement à l’évolution des circonstances.
Prasanth Meiyappan, ingénieur en sciences appliquées, et Matthew Bales, directeur de recherche scientifique, ont publié une note intitulée « Reducing Amazon’s packaging waste using multimodal deep learning », qui a été l’une des 10 publications les plus lues sur Amazon Science en 2021.
Grâce aux approches de machine learning, et plus particulièrement de deep learning, qui s’appliquent parfaitement au Big Data et à des échelles massives, et à la combinaison innovante du traitement du langage naturel et de la vision par ordinateur, Amazon parvient en effet à dimensionner correctement ses colis. Ces six dernières années, ces outils ont permis à Amazon de réduire de 36 % le poids d’emballage par colis et d’éliminer plus d’un million de tonnes d’emballage, soit l’équivalent de plus de 2 milliards de cartons d’expédition.
« À mes débuts chez Amazon en 2017, on devait tester physiquement les produits ; il nous manquait un mécanisme évolutif capable d’évaluer des centaines de millions de produits pour identifier le type d’emballage optimal pour chacun », explique Matthew Bales, directeur de recherche scientifique. Également physicien de formation, il dirige les projets de machine learning au sein de l’équipe Customer Packaging Experience d’Amazon.
« On a commencé par réaliser des tests statistiques, mais ceux-ci sont surtout utiles pour des produits ayant déjà été livrés dans différents types d’emballages. Or, nous voulions prédire le comportement d’un produit dans un type d’emballage moins protecteur, plus léger et plus écoresponsable. Et dans le domaine du prédictif, le machine learning s’impose », poursuit Matthew Bales.
| Votre 1er livre Audio Gratuit | Votre musique en illimitée |
| Achat immédiat | Achat immédiat |
L’importance du retour d’information des clients
Pour prédire les conditions d’expédition de tel produit dans tel type d’emballage, Matthew Bales et ses collègues ont développé un modèle de machine learning reposant essentiellement sur les données textuelles visibles des clients sur la boutique Amazon : le nom du produit, sa description, son prix, les dimensions du colis, etc.
Ce modèle a été entraîné sur des millions d’exemples de produits livrés en bon état dans différents types d’emballages, ainsi qu’à des exemples de produits livrés endommagés dans différents types d’emballages. Amazon sait quasi instantanément qu’un produit n’est pas suffisamment protégé par l’emballage choisi, étant donné que les clients signalent les livraisons endommagées via le formulaire du Centre de retours en ligne ou par d’autres moyens, comme les avis sur les produits.
« Les retours des clients sont cruciaux », déclare Matthew Bales. « Ils nous servent pour l’ensemble de nos tests statistiques. »
Le modèle a ainsi appris que certains mots-clés conditionnaient le choix de l’emballage. Par exemple, les mots-clés « céramique », « denrées alimentaires », « mug » et « verre » éliminent d’emblée les enveloppes matelassées. Un carton d’emballage est bien mieux adapté à ce type de produits. Les mots-clés « multipack » et « sac » suggèrent que ces produits peuvent être expédiés par enveloppe postale. En effet, ils bénéficient probablement déjà d’une forme d’emballage protecteur.
« La part du modèle qui s’enrichit des informations publiées sur la boutique Amazon sait distinguer le produit et reconnaître ses dimensions », ajoute Matthew Bales.
Si l’identification automatique d’un produit est certes une étape importante, ce n’est toutefois que la moitié du chemin. Il faut également savoir comment le vendeur a emballé le produit avant de l’expédier au centre de distribution. Un mug en céramique peut très bien être emballé dans un sachet en plastique comme dans un carton solide.
C’est là qu’intervient la vision par ordinateur. L’équipe machine learning s’est en effet rendue compte que les illustrations des produits sur la boutique Amazon n’étaient pas suffisamment fiables pour permettre de choisir le bon emballage. Par exemple, un lot d’ampoules LED peut être illustré par une seule ampoule, non emballée, ce qui laisse à penser que l’article est fragile, alors qu’en fait, le lot est déjà correctement emballé par le vendeur et ne nécessite pas de conditionnement supplémentaire. Dans ce cas, l’idéal est de l’expédier dans son emballage d’origine.
L’équipe de Matthew Bales a alors décidé d’utiliser les informations des images prises par Amazon. En effet, quand les produits arrivent dans les centres de distribution, beaucoup transitent sur tapis roulant dans des tunnels de vision par ordinateur, équipés de caméras qui enregistrent des images des produits sous plusieurs angles. Ces tunnels permettent entre autres d’estimer les dimensions des produits et de détecter des défauts.
| Diffusion en streaming illimitée de milliers de films et de séries télévisées | La plus grande sélection au monde de livres et de contenu audio |
| Achat immédiat | Achat immédiat |
Prasanth Meiyappan, ingénieur en sciences appliquées chez Amazon, a eu l’idée d’utiliser ces images de produits standardisées pour enrichir le modèle de machine learning, qui intégrait déjà les données textuelles du catalogue, selon une approche multimodale.
« Notre modèle détecte les coins des emballages pour déterminer la forme, il identifie la présence d’une perforation, d’un sachet autour d’un produit, voire le fait qu’une bouteille en verre est translucide », explique Prasanth Meiyappan. Mais il est parfois difficile de savoir comment le modèle aboutit à une décision en fonction de ce qu’il détecte sur les images, car les caractéristiques du produit identifiées et estimées par le modèle tendent à être complexes.
« Mais ce qui est important, c’est que les emballages préconisés par le modèle sont empiriquement justes », ajoute Matthew Bales.
Le fait d’intégrer des données visuelles en plus des données textuelles a permis d’améliorer la performance du modèle de machine learning d’environ 30 %. Matthew Bales et Prasanth Meiyappan ont publié une note à ce sujet.
« Quand le modèle est sûr du meilleur type d’emballage à préconiser pour un produit donné, nous l’autorisons à auto certifier ce type d’emballage », explique Matthew Bales. « Quand il n’est pas certain à 100 %, le produit et le choix d’emballage subissent une étape supplémentaire de test et validation par un humain ». Cette technologie est actuellement utilisée dans les entrepôts en Amérique du Nord et en Europe, et permet de réduire automatiquement les déchets, à très grande échelle.
« C’est bénéfique à trois niveaux : moins de déchets, une meilleure satisfaction client et une réduction des coûts », conclut Matthew Bales.
La gestion du déséquilibre des données
Mais avant d’arriver à ce triple bénéfice, l’équipe a dû surmonter un enjeu de taille fréquent dans le domaine du machine learning : le déséquilibre de classe. En effet, pour qu’un modèle de machine learning apprenne correctement, il faut lui fournir autant de mises en situation d’échecs que de réussites, afin qu’il parvienne à faire la différence.
Or, dans ce cas, sur les millions d’exemples de combinaisons produit/emballage présentés au modèle, seuls 1 % des emballages n’étaient pas adaptés au produit.
« Avant le recours au machine learning, certains produits étaient expédiés dans des enveloppes et des pochettes », explique Matthew Bales. « Nous avions donc des tonnes d’exemples d’articles que l’on pouvait expédier dans des pochettes, mais pas beaucoup d’exemples du contraire. Or, les modèles de machine learning ne savent pas bien gérer un déséquilibre aussi important.»
« Il n’existe que peu de publications sur le machine learning appliqué au choix des emballages », constate Prasanth Meiyappan. « Rares sont les entités qui manipulent les jeux de données qui sont les nôtres dans le domaine du conditionnement. La capacité d’une technique à gérer le déséquilibre inhérent aux données traitées dépend du domaine et des jeux de données. »
L’équipe a donc dû aborder le problème du déséquilibre de classe de façon expérimentale. Sur les six approches testées, quatre reposant sur les données et deux algorithmiques, celle retenue a produit une nette amélioration de la précision du modèle. Il s’agit d’une approche reposant sur des données d’apprentissage en deux étapes avec échantillonnage aléatoire (random under sampling). Lors de la première étape, le modèle se concentre sur la classe minoritaire, puis à la seconde étape, il apprend de l’ensemble des données disponibles. « Nous partageons cette expérience avec l’ensemble des acteurs du machine learning dans notre note. Ainsi, quiconque serait confronté à un problème similaire pourra s’inspirer de cette approche », ajoute Matthew Bales.
Et ensuite ?
L’équipe entend généraliser l’utilisation de cet outil en incitant le modèle à comprendre l’ensemble des langues utilisées par les clients d’Amazon, ainsi qu’à intégrer les caractéristiques de distribution propres à chaque pays.
