Et s’il était possible de résumer rapidement des textes sans ChatGPT !

Lors de son stage de master au sein du laboratoire De Vinci Research Center, Marius Ortega, aujourd’hui doctorant chez Onepoint, a travaillé sur le traitement automatique du langage par l’IA et notamment le résumé de texte.

De ses recherches conjointes avec ses encadrants est né REDIRE, un modèle permettant de résumer à bas coût des textes longs.

REDIRE a d’abord fait l’objet d’une publication lors de la conférence nationale Extraction et Gestion de Connaissances (EGC 2024) où il a reçu le prix du meilleur article applicatif, puis plus récemment dans le journal international Data Knowledge Engineering, spécialisé dans les domaines de gestion et management de la connaissance.

A contrario d’un modèle tel que ChatGPT, requérant des ressources de calcul allant jusqu’à plusieurs dizaines de giga-octets de mémoire graphique, Redire propose un modèle peu coûteux et utilisable sans GPU. Ce nouveau modèle permet de résumer des textes longs, tels que des articles de journaux ou des articles scientifiques, en extrayant les phrases les plus importantes du texte.

Cette approche est non-supervisée, elle ne nécessite donc pas de données annotées. Afin d’extraire les phrases les plus importantes du texte, REDIRE s’appuie sur des embeddings pré-entrainés, … . Ainsi ces embeddings pré-entraînés permettent de représenter les mots dans un langage compréhensible par la machine.

On obtient alors un nuage dense de mots auquel on applique une réduction extrême de dimension afin d’identifier les mots importants et de les grouper par proximité. Enfin, une méthode de résolution de contraintes linéaire finalise l’extraction des phrases selon leur centralité et leur diversité dans le texte.

Cette méthode obtient des résultats très encourageants sur des textes de grande taille (DUC2004, Multi-News) affichant, pour certaines métriques, des résultats supérieurs à GPT-4O.