From prospecting to archiving : repérer la production logicielle grâce à la fouille de textes

Le second Plan National pour la Science Ouverte (2021-2024), dans son troisième axe visant à promouvoir les codes sources issus de la recherche, préconise notamment de “développer une coordination efficace entre les forges logicielles, les archives ouvertes de publications, les entrepôts de données et le secteur de l’édition scientifique”. Il recommande également de “suivre l’évolution de la production de codes et logiciels en France afin d’analyser les dynamiques, l’ouverture et les impacts de cette production à travers le baromètre de la science ouverte”.

Dans le cadre de la modération des publications déposées sur HAL, nous avons observé que de nombreux codes et logiciels développés par les laboratoires d’Aix-Marseille Université sont fréquemment mentionnés dans les articles scientifiques, mais font rarement l’objet d’un archivage systématique dans HAL ou SoftWare Heritage.

Dès lors, la question se pose : comment repérer cette production logicielle mentionnée dans les publications et en faciliter l’archivage ?

Solution proposée : Extraction automatisée des informations

Pour répondre à ce besoin, nous avons choisi d’exploiter des outils d’extraction de texte via Python, afin d’identifier des termes spécifiques liés à la production de codes dans les fichiers déposés sur HAL.

Étape 1 : Définition d’un corpus limité

Dans un premier temps, nous avons limité notre analyse à un échantillon de 500 dépôts afin de faciliter son traitement. Pour ce faire, nous avons utilisé l’API HAL pour extraire les identifiants des articles et les informations concernant les auteurs.

Étape 2 : Collecte des articles et extraction des textes

Une fois les identifiants collectés, notre script Python récupère automatiquement le texte des articles associés, extrait les termes pertinents et recherche spécifiquement des références à des plateformes comme GitHub et GitLab.

Cette procédure nous permet d’identifier rapidement les mentions de codes sources dans les publications.

Étape 3 : Récupération des articles et identification des déposants

Lorsque le script détecte un des termes recherchés (par exemple, “GitHub”), il collecte l’identifiant de l’article ainsi que le nom de son déposant. Tous les résultats sont ensuite organisés et présentés dans un tableau récapitulatif.

Pour la période observée, voici un exemple de résultats pour le terme “GitHub” :

Une fois ce tableau généré, il est alors nécessaire d’analyser chaque code ou logiciel mentionné dans les documents déposés, puis de vérifier s’ils ont fait l’objet d’un dépôt dans HAL ou SoftWare Heritage (le plugin UpdateSWH étant particulièrement utile pour cette tâche). Si ce n’est pas le cas, un contact avec les déposants peut être établi afin de les encourager à procéder à l’archivage des codes.

Limites du script

Bien que ce script offre une approche automatisée pour l’analyse de la production logicielle, il comporte certaines limitations :

• Restriction d’accès aux fichiers sous embargo : le script ne peut pas analyser les publications soumises à un embargo (qu’il n’est a priori pas possible de repérer en amont via l’API de HAL)
• Temps de traitement : l’analyse peut être longue, notamment pour les articles volumineux.
• Normes éditoriales : les différences de formats ou de normes éditoriales peuvent compliquer la reconnaissance des termes.
• Cas des posters : le code analyse le texte, mais pas les images, les dessins, ni le texte dans des dessins : il faudrait utiliser un script spécifique pour OCRiser les posters (ça pourra être fait dans un deuxième temps)
• Nécessité d’une validation manuelle : bien que le script permette de récupérer un certain nombre d’informations, une phase de relecture et d’investigation humaine reste indispensable pour valider les résultats.

Le script est disponible en téléchargement libre et peut être modifié et réutilisé, sous réserve de citer l’auteur.

Prochaines étapes

– Mettre en pratique cette procédure à plus grande échelle, en ciblant des structures spécialisées

– Etendre cette procédure aux données de recherche mentionnées dans les articles

 

Illustration de Alexandra Koch

 

 

 

 

---

---