Un dépôt institutionnel procure aux directeurs de recherche l'outil servant à gérer et évaluer les activités de recherche au sein d'une institution. Si le dépôt collecte tous les produits de la recherche, les gestionnaires institutionnels peuvent développer les procédures appropriées pour utiliser le dépôt afin de créer des rapports visant à répondre à des questions telles que les suivantes :
• Que publie cette institution ?
• Qui produit quoi ?
• Quel est le lieu de publication/d'exécution/d'installation ?
• Quel est l'impact obtenu (par la mesure des citations et d'autres choses) ?
• Quelles sont les tendances à la hausse ?
• Quelles sont les tendances à la baisse ?
• Quelle est l'ampleur du travail collaboratif ?
• Avec qui ?
• Dans quelles autres institutions ?
• Quels résultats obtenons-nous pour l'argent que nous investissons dans notre département de physique ?
• Nos départements de recherche les plus forts attirent-ils le bon nombre d'étudiants?
Il existe bien sûr de nombreuses autres questions similaires. En outre, comme toutes les universités établissent leurs propres dépôts numériques, les gestionnaires institutionnels seront en mesure d'utiliser le corpus du Libre Accès en augmentation dans le monde entier pour les aider à répondre aussi à des questions comparatives, telles que :
• Quel est notre impact comparé au leur ?
• Notre département d'ingénierie produit-il une meilleure recherche que le leur ?
• Quel est notre retour sur investissement en comparaison avec le leur ?
• Nos programmes de recherche collaboratifs ont-ils de bons résultats ?
• Notre recherche est-elle compétitive par rapport aux institutions qui sont nos concurrentes les plus proches ?
Un logiciel mesurant l'utilisation d'un dépôt - visites, vues et téléchargements de chaque article - est disponible. Les chiffres relatifs à l'utilisation sont collectés dans une base de données et les utilisateurs peuvent demander des statistiques d'utilisation pour un article particulier ou, disons, tous les articles publiés par un groupe de recherche, sous forme de nombres ou de graphique. Pour voir un exemple « en direct » de ce type d'affichage graphique, cliquez ici. Les auteurs sont enthousiastes quant à la possibilité de voir le niveau d'utilisation de leurs articles, ainsi que le type d'utilisateurs, et cela les encourage à déposer leurs travaux. Les directeurs de recherche peuvent utiliser de telles données pour aider à informer leurs activités de planification et d'investissement. Pour une description plus complète de ce que propose un service de statistiques d'utilisation de dépôt, cliquez ici.
Comme les exercices nationaux d'évaluation de la recherche prennent racine (les principaux exemples sont actuellement au Royaume-Uni et en Australie), il existe une focalisation croissante sur l'élaboration de métriques qui peuvent mesurer les aspects de l'activité de recherche. La seule métrique qui a été utilisée de manière généralisée jusqu'à présent est le Journal impact factor (JIF), développé par l'Institute for Scientific Information, ISI (qui fait maintenant partie du groupe Thomson Reuters). La métrique a été développée à l'origine comme une mesure de l'impact des revues individuelles et a été conçue comme un outil pour les éditeurs. Elle est calculée de manière annuelle pour l'ensemble des revues couvertes par la base de données du Web of Science (WoS) de Thomson, environ 10 000 titres. Le JIF a prévalu plus de deux décennies, car aucun autre fournisseur n'avait la largeur et la profondeur de contenu pour créer des métriques alternatives significatives pour mesurer autre chose à partir de la littérature de recherche. Ceci est en train de changer, d'autres éditeurs développant des bases de données rivales. Le développement le plus important, cependant, est celui de la croissance de la littérature en libre accès. Une littérature mondiale en libre accès fournira partout dans le monde des bibliométriciens possédant la matière première pour développer de nombreuses nouvelles métriques visant à mesurer et évaluer la recherche.
L'analyse des citations est juste une façon d'analyser la littérature de recherche. Certaines autres métriques éventuelles sont les suivantes :
• Citations
• « CiteRank » (genre Google)
• Co-citations
• Téléchargements
• Corrélations citations/Téléchargements
• Index « hub/authority »
• Chronométries : Latence/Longévité
• Endogamie/Exogamie
• Index de citation de livres
• Liens (entrant et sortant)
• Commentaires
• h-index (et variantes)
• Taux de co-auteurs
• Nombre d'articles publiés
• Années de publication
• Sémiométrie (analyse sémantique latente, exploration de texte, etc.)
• Analyse des citations
• Taux de subventions
• Nombre d'étudiants de recherche
• Prix, honneurs
(liste mise à disposition par Stevan Harnad)
Pour un aperçu de la situation actuelle à l'égard de l'élaboration de métriques de recherche, cliquez ici.
Pour un aperçu de la façon dont la performance de la recherche peut être mesurée en utilisant une littérature en libre accès, cliquez ici.
Les politiques institutionnelles de Libre Accès sont conçues pour recueillir principalement des articles de revues, une littérature que les auteurs universitaires rédigent sans attendre de récompense financière directe. Ainsi qu'il ressort de la liste ci-dessus, l'analyse des citations n'est qu'un outil d'évaluation de l'effort de recherche dans une université, mais elle est extrêmement utile. Elle est particulièrement appropriée pour la recherche scientifique et technologique, où les chercheurs publient de nombreux articles et citent abondamment les travaux d'autres personnes, mais moins appropriée pour les sciences sociales et en particulier les sciences humaines où les articles de revues ne sont pas la forme prédominante de produits. Dans ces disciplines, les monographies ont tendance à être plus importantes et le comportement de citation est également très différent. Un dépôt dans une université typique contiendra donc un grand nombre d'articles de revues, mais peu de livres en texte intégral. Cela signifie qu'à moins que la bonne politique ait été mise en place - celle qui exige le dépôt d'au moins les métadonnées pour les livres (auteur, titre, affiliation institutionnelle, résumé et références ou bibliographie) - les citations en provenance et vers des livres et des monographies seront perdues.
Pour les développements futurs des idées sur la création de métriques pour mesurer l'impact des livres et monographies, voir Carr et al.
Beaucoup d'institutions disposent d'une certaine forme de système institutionnel de gestion de la recherche (IRMS - institutional research management system -, parfois appelé CRIS - Current Research Information System), qui rassemble des informations clés de tous les principaux systèmes informatiques. Par exemple, il ira chercher des données du Bureau des finances sur les revenus de la recherche, des informations sur le personnel dans la base de données des ressources humaines et le détail des chiffres de troisième cycle à partir du système des dossiers des étudiants. L'IRMS peut être lié au dépôt pour qu'il puisse accéder à toutes les données bibliographiques et aux produits de la recherche. Utiliser le dépôt central de cette manière peut conduire à l'efficacité des ressources dans toute l'institution. Sans cet arrangement, il se peut que les informations sur les produits de la recherche doivent être recueillies autrement auprès de plusieurs ministères ou groupes de recherche séparés.
L'institution peut aussi exploiter l'avantage d'avoir des experts bibliographiques, souvent basés dans la bibliothèque, vérifiant les données introduites dans le dépôt. Les procédures d'assurance de la qualité du flux de travail du dépôt confèrent la cohérence et la précision qui sont si importantes pour la gestion et l'évaluation de la recherche. Des décisions devront être prises quant à la connexion de certaines fonctionnalités plutôt au IRMS ou au dépôt - par exemple, la capacité d'exécuter des rapports qui assignent des produits à des unités d'évaluation. Mais que ces fonctions soient connectées à l'un ou à l'autre, il est essentiel que le dépôt soit lié aux dossiers institutionnels, afin que chaque produit puisse être relié à un identifiant auteur unique pour chaque auteur ou co-auteur.
Une Note d'information sur l'utilisation des dépôts pour la gestion et l'évaluation de la recherche est disponible ici.
White, Wendy (2008) Developing a sustainable institutional repository.
In, Digital Repositories Federation International Conference: Open Access and Institutional Repository in Asia-Pacific, Osaka, Japan, 30-31 Jan 2008. Japan, DRIFIC 2008 Steering Committee, 41-42
(lien vers le document).
White, Wendy (2007) Opening access and closing risk: delivering the mandate for e-theses deposit. In, ETD 2007 added values to e-theses :
10e Symposium international sur les thèses et mémoires électroniques, Uppsala, Suède, 13-16 juin 2007, 6pp. (lien vers le document)
Hey, Jessie M N, White, Wendy, Simpson, Pauline, Brown, Mark and Lucas, Natasha (2006) Fast flows the stream: tackling the workflow challenge with the University of Southampton Research Repository. At, Open Scholarship 2006: New Challenges for Open Access Repositories, Glasgow, UK, 18-20 October 2006 (lien vers le document).
White, Wendy (2004) University of Southampton. In, Peters, Janet (ed.) Learning outcomes and information literacy. York, UK, Higher Education Academy in conjunction with SCONUL, 31-38 (lien vers le document).
Rapport intérimaire (mai 2008) du Groupe de travail ARROW-HERDC (En anglais - Exigences en matière de détails et modèles candidats pour la méthode d'intégration des dépôts dans la gestion de la recherche et dans le système de rapportage de la recherche nationale en Australie)
Projet de lignes directrices pour la soumission à l'ERA . (Excellence in Research for Australia). En anglais. Conseil australien de la recherche, janvier 2009.