Le football, probablement plus que tout autre sport, est un jeu d'opinions.
Que vous soyez joueur, entraîneur, recruteur, manager, président ou supporter, il y a de fortes chances que vous interprétiez différemment les incidents clés d'un match ou la performance d'un certain joueur sur la base de ce que vous voyez à l'œil nu, qui sera sans aucun doute influencé par des opinions préexistantes et vos expériences antérieures.
Cependant, lorsque vous travaillez dans le domaine professionnel de la recherche et du recrutement, en évaluant les performances de centaines, voire de milliers de joueurs chaque mois, quelles mesures pouvez-vous prendre, en tant que département collectif, pour vous assurer que chaque partie prenante au processus de décision applique le même niveau de cohérence à ses évaluations, en tenant compte des exigences clés du club ?
Compte tenu des investissements financiers importants nécessaires au recrutement d'un joueur, chaque club doit s'assurer qu'aucune personne impliquée dans le processus n'applique une valeur différente, qu'elle soit positive ou négative, à certains critères lors d'une évaluation individuelle. Si un recruteur est très prompt à faire des éloges, tandis qu'un autre est plus réticent à donner une évaluation positive, il y a un risque d'incohérence dans l'interprétation des rapports, ce qui pourrait affecter une décision clé.
Parmi tous ces éléments, la structure du modèle d'évaluation est absolument cruciale pour garantir l'obtention du résultat souhaité.
Dans un grand nombre de secteurs d'activité, les critères de sélection des candidats au recrutement peuvent comporter un mélange d'évaluations quantitatives basées sur des chiffres et de facteurs qualitatifs subjectifs, tels que la performance d'un candidat lors d'un entretien d'embauche. Si l'entretien d'embauche est un facteur moins important dans le football, les modèles d'évaluation peuvent toujours comprendre une combinaison de facteurs quantitatifs, par exemple un questionnaire numérique comportant des critères spécifiques au poste, ainsi qu'une sorte d'évaluation ou de verdict qualitatif écrit.
D'un point de vue quantitatif, il est beaucoup plus facile de faire des comparaisons directes avec des matrices basées sur les scores dans plusieurs rapports différents et d'identifier les divergences dans la pondération des scores individuels, mais est-il possible de faire la même chose et d'identifier les divergences dans les mots et les phrases qui sont fréquemment utilisés par les scouts lorsqu'ils soumettent leurs évaluations écrites ?
Pour essayer de le savoir, j'ai récemment achevé un projet pour OptaPro, qui comprenait une étude de text mining d'anciens rapports de scouting compilés par l'opération de conseil de la société. Ces rapports ont été rédigés il y a plusieurs années et n'ont aujourd'hui que peu de valeur, car tous les joueurs évalués ne sont plus actifs dans le monde professionnel.
Certains résultats sont très significatifs et soulignent l'intérêt de vérifier régulièrement les témoignages écrits saisis dans les zones de texte libre des modèles d'évaluation.
Dans ce blog, je ne vais mettre en lumière qu'un petit nombre des conclusions du rapport, qui, je pense, pourrait être le premier de ce type à être appliqué au football professionnel.
Résumé général de l'étude
Au total, j'ai analysé plus de 140 rapports et chaque rapport a été encodé de manière à ce que les commentaires d'un scout soient répartis en cinq catégories basées sur des mots et des phrases récurrents :
Résultats
Mentions positives et négatives, par catégorie
La première conclusion définitive que j'ai trouvée, à la suite de l'exploration de texte, est une proportion plus élevée de mentions positives dans les rapports, dans toutes les catégories, par rapport aux mentions négatives. En moyenne, les scouts ont fait trois fois plus de commentaires positifs que de commentaires négatifs, comme le montre le tableau ci-dessous.
| Catégorie de codage | Mentions positives | Mentions négatives | Ratio de positivité |
|---|---|---|---|
| Confiance et sang-froid | 35 | 10 | 78% |
| Créativité | 7 | 6 | 54% |
| Dynamisme et rythme de travail | 46 | 13 | 78% |
| rythme | 30 | 18 | 63% |
| Passage | 47 | 18 | 72% |
| Dans l'ensemble | 165 | 65 | 72% |
Mentions positives vs négatives, par Scout
En ce qui concerne les comparaisons directes par éclaireur, nous avons pu mettre en évidence des résultats très instructifs, qui suggèrent des écarts importants dans le nombre de commentaires positifs et négatifs faits par chaque éclaireur (notez que tous les noms dans le tableau sont des pseudonymes).
Ce qui rend ces résultats encore plus significatifs, c'est que nous avons également trouvé un lien direct entre le nombre de mentions positives et la "note" subjective finale que le recruteur a attribuée au joueur (allant de A à D, A étant la note la plus élevée). Nous avons constaté que plus les déclarations d'un recruteur étaient positives, plus la note qu'il attribuait au joueur était élevée.
| Nom | Nombre de rapports | Mentions positives | Mentions négatives | Ratio de positivité |
|---|---|---|---|---|
| Alex Cole | 23 | 21 | 0 | 100% |
| Chris Hoburn | 20 | 36 | 5 | 88% |
| Terry Dean | 12 | 14 | 4 | 78% |
| Jon Robinson | 8 | 6 | 2 | 75% |
| David Whitehouse | 9 | 10 | 6 | 63% |
| Chris Cunliffe | 12 | 14 | 9 | 61% |
| Alex Dempsey | 20 | 24 | 17 | 59% |
| Simon Timmis | 16 | 12 | 10 | 55% |
| Andrew Armstrong | 8 | 6 | 5 | 55% |
Mentions dans les catégories, ventilées par poste
En plus de comparer le positif et le négatif, nous avons également étudié la fréquence de mention de chaque catégorie en fonction de la position du joueur évalué par chaque recruteur. Les résultats montrent clairement que les recruteurs mentionnent davantage certains critères pour certains postes que pour d'autres :
Comme vous pouvez le constater, les recruteurs ont fait référence à la vitesse et aux passes pour les défenseurs et les milieux de terrain beaucoup plus régulièrement que pour les attaquants, tandis que le dynamisme et le rythme de travail ont été davantage mentionnés dans les évaluations des milieux de terrain que dans celles des défenseurs et des attaquants. Bien sûr, ces résultats peuvent refléter les attributs clés de ces postes, mais d'un point de vue managérial, ils peuvent suggérer que les recruteurs doivent se pencher consciemment sur des attributs qu'ils ont précédemment négligés dans leurs rapports.
| Catégorie de codage | Défenseur | En avant | Milieu de terrain |
|---|---|---|---|
| Calme et confiance en soi | 33% | 16% | 33% |
| Créativité | 3% | 6% | 12% |
| Dynamisme et rythme de travail | 22% | 33% | 50% |
| rythme | 53% | 28% | 56% |
| Passage | 42% | 11% | 52% |
Termes de scoutisme utilisés, par classement
Outre la catégorisation des différents termes utilisés par les recruteurs, nous avons également analysé le nombre de fois où des mots spécifiques apparaissent dans les rapports et la manière dont ils peuvent varier en fonction de la note finale A-D attribuée par le recruteur.
Une fois de plus, on constate une nette augmentation du nombre de fois où des termes sont utilisés dans les rapports où le recruteur attribue une note plus élevée. Certains termes, notamment "l'un ou l'autre pied" et "capacité", ne sont pratiquement jamais mentionnés pour les joueurs ayant reçu une note "C" ou inférieure.
Les barres représentent le pourcentage de documents utilisant le terme
Termes de scoutisme utilisés par poste
Dans le cadre de l'étude, nous avons voulu savoir si certains termes étaient spécifiques à un poste. Le tableau suivant montre la fréquence d'utilisation des termes en fonction du poste du joueur évalué.
L'une des conclusions les plus marquantes est que les termes relatifs à la possession et au mouvement dominent lorsque les recruteurs évaluent les milieux de terrain, alors que plusieurs autres termes utilisés régulièrement pour les défenseurs et les attaquants ont été omis.
Lors de l'évaluation des attaquants, le terme "but" a logiquement obtenu un score élevé, mais une grande proportion de termes généraux a également été utilisée. En ce qui concerne les défenseurs, les attributs clés spécifiques à la position apparaissent en bonne place, notamment "défendre", "position", "aérien", "vitesse" et les termes basés sur la possession.
Les barres représentent le pourcentage de documents utilisant le terme
Conclusion
L'étude d'un très petit échantillon de rapports écrits nous a permis de constater des fluctuations dans l'utilisation de la terminologie du scoutisme, à la fois dans un contexte positif et négatif, en fonction du poste évalué, de l'évaluation finale et de l'auteur du rapport. Nous avons également constaté des différences dans le nombre de mots utilisés par chaque scout et une corrélation entre le nombre de mots utilisés et la note finale attribuée, les notes les plus élevées ayant un plus grand nombre de mots.
Bien entendu, les résultats d'un tel exercice ne peuvent être correctement mesurés que sur la base de la compréhension des instructions très spécifiques qui ont été données aux éclaireurs. Par exemple, nous avons souligné que le nombre de mentions positives l'emportait largement sur les mentions négatives, mais cela peut être le résultat direct de la manière dont les recruteurs ont été informés de ce qu'on leur a demandé de rapporter. Il en va de même pour les termes spécifiques utilisés par poste - là encore, il se peut que les recruteurs aient été informés des caractéristiques spécifiques à leur poste, ce qui peut se refléter dans les résultats finaux.
Cela dit, étant donné l'importance d'un bon recrutement et l'impact qu'un rapport peut avoir sur la prise de décision, il est clairement utile d'exploiter régulièrement les évaluations écrites dans le cadre d'un audit plus large du scoutisme, ne serait-ce que pour confirmer que chaque collaborateur soumet des rapports conformes à son cahier des charges.
Une autre conclusion clé, bien qu'indirecte, souligne également l'importance de structurer vos modèles d'évaluation de manière à obtenir les résultats souhaités. Cela peut concerner la façon dont vous structurez les questionnaires, le choix des critères, les fourchettes, les questions posées, le choix des réponses disponibles et les lignes directrices en place si vous choisissez d'inclure un témoignage écrit. Si vous ne faites pas les choses correctement, il peut être très difficile d'interpréter les informations qui vous parviennent.
--
Garry Gelade est membre de l'American Psychological Association et membre fondateur de la British Psychological Society.
Il est le fondateur de Business Analytic, un cabinet de conseil indépendant spécialisé dans la recherche organisationnelle, l'analyse sportive et les statistiques appliquées. Il est associé au Centre for Research in Applied Creativity (Ontario), ancien chercheur invité à la City University (Cass) Business School, et auteur de vingt-sept articles scientifiques évalués par des pairs.
