Un dernier petit détail doit encore être relevé avant de comprendre ce que révèle cette figure, il s’agit des « moustaches », plus ou moins grandes, qui s’élèvent de part et d’autre de chacune des petites boîtes noires. Si ces moustaches sont petites, la variabilité entre les avis des juges est faible. Si elles sont grandes, les juges n’ont pas répondu de la même manière entre eux. Une donnée importante. Car plus les juges sont d’accords entre eux, plus cela signifie que leur avis est consistant, lié à des critères d’évaluation clairs, objectifs, ou en tout cas conditionnés par des mêmes formes d’apprentissages. Les boîtes représentant des moyennes, il est logique qu’il n’y ait pas de moustaches pour le groupe de 18 juges, vu qu’il n’y a dès lors qu’une seule réponse. A l’inverse, ces moustaches sont plus grandes quand elles regroupent les avis séparés des 18 juges, tout à gauche de l’axe des abscisses.

Des non experts bien compétents

Plusieurs informations peuvent être dégagées de cette figure. Les coefficients de corrélation des experts et des non experts sont globalement semblables. Ce qui signifie que les non experts sont également « objectifs » lorsqu’ils jugent de la justesse d’un chant. Les résultats se trouvent également bien en dessous de la ligne rouge, ce qui les rend significatifs. « Toutefois, relativise la chercheuse, les moustaches des non experts sont plus grandes que les moustaches des experts. Cela signifie que les experts fournissent tout de même des réponses plus conditionnées que les non experts, qui sont plus variables dans leurs évaluations. Nous voyons qu’une sensibilité commune se dessine. En effet, si les non experts n’étaient absolument pas d’accords entre eux, les moustaches couvriraient toute la boîte. A partir d’un certain nombre de juges, les non experts ont des performances quasiment égales à celle des experts. »

Une deuxième observation concerne les deux tests proposés aux non experts. La figure montre qu’ils réagissent d’une manière similaire les deux fois. « Ce qui est encourageant. Quand on fait passer une même expérience deux fois dans un intervalle de temps assez court, on cherche à voir s’il y a un changement de stratégie ou un apprentissage. Ici, ce n’est pas le cas. » Ce résultat témoigne que le jugement des non experts est stable d’une fois à l’autre et qu’ils ont des connaissances suffisamment ancrées en eux pour qu’il n’y ait pas d’effet d’apprentissage significatif lors de l’expérience. La figure témoigne tout au plus de moustaches un peu moins larges dans la troisième colonne, donc d’une moins grande variabilité entre les évaluations des différents juges.

Cette figure illustre parfaitement la forte relation entre les critères de justesse mesurés et l’évaluation par des groupes d’experts mais elle ne permet pas de dire ce qui explique ou peut prédire les évaluations des juges. En d’autres mots, à quels critères objectifs de justesse nos oreilles sont-elles réellement sensibles ? « A l’aide de statistiques, on remarque que tant les experts que les non experts n’attachent pas beaucoup d’importance au respect du contour des mélodies pour juger du niveau de justesse d’un chant. » A l’inverse, les erreurs liées aux intervalles ont été prises en compte par les deux jurys. Par contre, seuls les experts semblent avoir pris en compte les changements de tonalité au cours d’un même morceau. « Ce qui peut sembler étonnant. D’un autre côté, c’est la notion qui apparaît le plus tard dans le développement, tant en perception qu’en production musicale. Cela ne signifie pas pour autant que les non experts n’entendent pas ce type d’erreur. Cela signifie en tout cas que ce n’est pas un critère suffisamment important pour eux et n’apparaît pas comme une variable  prédictive d’après notre modèle statistique. »

Les statistiques pour objectiver le subjectif

L’étude montre que la faculté à discerner le juste du faux résulte en partie d’un apprentissage musical implicite, d’un acquis qui concerne une majorité de la population. Le nombre d’années de pratique de la musique apporte bien évidemment des compétences, mais ne forme pas spécifiquement de meilleurs juges. Plus globalement, ce qui intéresse Pauline Larrouy-Maestri, c’est de rendre justice aux profanes et d’aller au delà des idées reçues pour bien comprendre d’où viennent d’éventuelles différences, « Dans beaucoup d’études, les différences entre deux groupes sont surestimées, simplement parce que l’un des deux groupes ne comprend pas ce qu’on attend de lui. Dans le cas présent, je pose une question toute simple. Tel chant est-il juste ou faux ? Si j’avais demandé de repérer les imprécisions liées aux intervalles ou de juger si le morceau était chanté dans la bonne tonalité, j’aurais eu de bien meilleurs résultats chez les experts que chez les non experts. Ces résultats auraient probablement été liés au fait que les non experts n’auraient pas compris la question. Ils n’auraient rien montré sur leurs facultés auditives réelles. La méthode développée ici permet de poser une simple question, accessible à tous, et ensuite, à l’aide de programmes informatiques et d’outils statistiques, d’examiner les raisons objectives qui peuvent influencer leur réponse. On dresse alors la relation entre des critères clairs qu’on a épinglés et l’évaluation des juges. On cherche donc par nous-mêmes à comprendre les motifs de leurs jugements. Ce type de méthode me paraît particulièrement intéressant et prometteur pour l’étude de sensibilités ou de jugements qui semblent initialement très subjectifs, que ce soit dans le domaine de la musique ou dans d’autres champs de recherche. »