Le présent travail propose d’identifier et de mesurer la place que revêtent toutes les formes d’ouverture de la science dans les rapports d’évaluation des entités de recherche produits par l’Agence pour l’Évaluation de la REcherche Scientifique (AERES) puis le Haut Conseil de l'Évaluation de la Recherche et de l’Enseignement Supérieur (HCERES), sur plus d’une décennie (2009-2021). Ce travail exploite un matériau et des métadonnées peu traitées et en livre par la même occasion le potentiel, les biais et les limites. Grâce à des outils linguistiques (CorTexT et TXM), nous sondons ce corpus avec l’objectif de représenter son contenu lexical et son évolution. Pour cela, le Thesaurus de la Science ouverte (INIST 2021) a constitué notre base de travail. Nous avons élaboré ensuite une typologie de 7 grandes thématiques qui nous permettent d’aborder l’ouverture en contexte, et en comparaison à d’autres centres/points d’intérêt des rapports d’évaluation : Science Ouverte, Production scientifique, Bibliométrie, Données, Intégrité/éthique, Propriété Intellectuelle, Publiants. En se focalisant précisément sur les rapports qui mentionnent la Science Ouverte et grâce à l’ensemble de nos requêtes pour TXM qui alimentent ce thème, il est possible de révéler en quels termes elle est évoquée. Par ce biais, nous prenons à témoins les écrits évaluatifs des rapports pour mieux comprendre comment les évaluateurs mobilisent et situent les différentes “branches” de la Science Ouverte. Nous montrons alors très clairement que dès l'époque de l'AERES, les évaluateurs s’intéressent en tout premier lieu à l’ouverture de la science par les activités de vulgarisation et médiation scientifique. L’analyse menée ici montre que la transition de l’AERES vers HCERES a produit un recul vis à vis de cette dynamique. La réduction drastique du nombre de pages des rapports a rejailli sur le travail des évaluateurs qui ont fait des arbitrages allant dans le sens d’un “réductionnisme” vers une forme conventionnelle de l’évaluation, qui n’a donc pas été favorable à la qualification de la question de l’ouverture de la science. Pour résumer, nous pouvons énoncer que les rapports de l’AERES plus longs, présentaient le potentiel d’éclairer la décision politique, sans pour autant conduire à un renouvellement des critères d’évaluation. Ceux de l’HCERES, plus courts, échouent à la fois à la décrire et à la prescrire en restant à distance des engagements pris au niveau national et européen.