El fútbol, probablemente más que cualquier otro deporte, es un juego de opiniones.
Ya sea usted jugador, entrenador, ojeador, directivo, presidente o aficionado, es muy probable que interprete de manera diferente los incidentes clave de un partido o el rendimiento de un determinado jugador basándose en lo que ve a simple vista, que sin duda estará influido por opiniones preexistentes y por sus experiencias anteriores.
Sin embargo, cuando se trabaja en el negocio profesional del ojeo y la captación, evaluando el rendimiento de cientos, si no miles, de jugadores cada mes, ¿qué medidas se pueden tomar, como departamento colectivo, para garantizar que todas las partes interesadas en el proceso de toma de decisiones apliquen el mismo nivel de coherencia en sus evaluaciones, teniendo en cuenta los requisitos clave del club?
Dadas las importantes inversiones financieras que son necesarias para la contratación de un jugador, lo único que todo club debe garantizar es que no haya personas implicadas en el proceso que apliquen un valor diferente, ya sea positivo o negativo, a determinados criterios en una evaluación individual. Si un ojeador se apresura a elogiar, mientras que otro es más reacio a dar una valoración positiva, existe el peligro de que haya incoherencias en la interpretación de los informes, lo que podría afectar a una decisión clave.
En medio de todo esto, la estructura de la plantilla de evaluación es absolutamente crucial para asegurarse de obtener el resultado deseado.
En una gran variedad de sectores empresariales, los criterios de selección de candidatos para la contratación pueden incorporar una mezcla de evaluaciones cuantitativas de base numérica y factores cualitativos subjetivos, como el rendimiento de un candidato en una entrevista de trabajo. Aunque la entrevista de trabajo puede ser un factor menos importante en el fútbol, los modelos de evaluación pueden seguir incluyendo una combinación de factores cuantitativos, por ejemplo un cuestionario numérico con criterios específicos del puesto, junto con algún tipo de evaluación o veredicto cualitativo por escrito.
Desde un punto de vista cuantitativo, es mucho más fácil hacer comparaciones directas con matrices basadas en puntuaciones a través de varios informes diferentes e identificar discrepancias en la ponderación de las puntuaciones individuales, sin embargo, ¿es posible hacer lo mismo e identificar discrepancias en las palabras y frases que son utilizadas frecuentemente por los scouts cuando envían sus evaluaciones escritas?
Para tratar de averiguarlo, he completado recientemente un proyecto para OptaPro, que ha consistido en un estudio de minería de textos de antiguos informes de ojeadores recopilados por la operación de Consultoría de la empresa. Estos informes se redactaron hace varios años y ahora tienen poco valor, ya que todos los jugadores evaluados ya no están en activo en el fútbol profesional.
Algunos de los resultados fueron muy significativos y ponen de relieve la importancia de comprobar periódicamente los testimonios escritos introducidos en las casillas de texto libre de las plantillas de evaluación.
En este blog, voy a destacar sólo un pequeño número de las conclusiones del informe, que creo que podría ser el primero de este tipo que se aplica al fútbol profesional.
Resumen general del estudio
En total analicé más de 140 informes y cada uno de ellos se codificó de modo que los comentarios de un explorador se desglosaran en cinco categorías basadas en palabras y frases recurrentes:
Hallazgos
Menciones positivas frente a negativas, por categoría
La primera conclusión definitiva que encontré, tras la minería de textos, fue una mayor proporción de menciones positivas en los informes, en todas las categorías, en comparación con las negativas. Por término medio, los ojeadores hicieron tres veces más comentarios positivos que negativos, como se pone de relieve en la tabla siguiente.
| Categoría de codificación | Menciones positivas | Menciones negativas | Ratio de positividad |
|---|---|---|---|
| Confianza y compostura | 35 | 10 | 78% |
| Creatividad | 7 | 6 | 54% |
| Dinamismo y ritmo de trabajo | 46 | 13 | 78% |
| Pace | 30 | 18 | 63% |
| Pasar | 47 | 18 | 72% |
| En general | 165 | 65 | 72% |
Menciones positivas frente a negativas, por Scout
A la hora de hacer comparaciones directas por ojeador, pudimos desenterrar algunas conclusiones muy informativas, que sugerían grandes discrepancias en el número de comentarios positivos y negativos realizados por cada ojeador (nótese que todos los nombres de la tabla son alias).
Lo que hace que estos resultados sean aún más significativos es que también encontramos una relación directa entre el número de menciones positivas y la "valoración" subjetiva final que el ojeador dio a un jugador (que va de la A a la D, siendo la A la más alta). Cuantas más afirmaciones positivas hacía un ojeador, más alta era la puntuación que otorgaba al jugador.
| Nombre | Nº de informes | Menciones positivas | Menciones negativas | Ratio de positividad |
|---|---|---|---|---|
| Alex Cole | 23 | 21 | 0 | 100% |
| Chris Hoburn | 20 | 36 | 5 | 88% |
| Terry Dean | 12 | 14 | 4 | 78% |
| Jon Robinson | 8 | 6 | 2 | 75% |
| David Whitehouse | 9 | 10 | 6 | 63% |
| Chris Cunliffe | 12 | 14 | 9 | 61% |
| Alex Dempsey | 20 | 24 | 17 | 59% |
| Simon Timmis | 16 | 12 | 10 | 55% |
| Andrew Armstrong | 8 | 6 | 5 | 55% |
Menciones de categoría, desglosadas por posición
Además de comparar lo positivo con lo negativo, también estudiamos la frecuencia con la que se mencionaba cada categoría en función de la posición del jugador que cada ojeador estaba evaluando. Los resultados ponen de manifiesto que los ojeadores mencionaron ciertos criterios para algunas posiciones más que para otras:
Como puede verse, los ojeadores se refirieron a la velocidad y el pase de los defensas y centrocampistas con mucha más frecuencia que a los delanteros, mientras que el dinamismo y el ritmo de trabajo se mencionaron más en las evaluaciones de los centrocampistas que en las de los defensas y delanteros. Por supuesto, estos resultados pueden reflejar los atributos clave de estas posiciones, pero desde el punto de vista de la gestión pueden sugerir que los ojeadores deben prestar más atención a los atributos que hasta ahora habían pasado por alto en sus informes.
| Categoría de codificación | Defensor | Adelante | Centrocampista |
|---|---|---|---|
| Compostura y confianza | 33% | 16% | 33% |
| Creatividad | 3% | 6% | 12% |
| Dinamismo y ritmo de trabajo | 22% | 33% | 50% |
| Pace | 53% | 28% | 56% |
| Pasar | 42% | 11% | 52% |
Términos de scouting utilizados, por clasificación
Además de categorizar los distintos términos utilizados por los ojeadores, también hemos analizado el número de veces que aparecían palabras concretas en los informes y cómo pueden variar en función de la calificación final A-D otorgada por el ojeador.
Una vez más, se puede ver que hay un marcado aumento en el número de veces que se utilizan términos en los informes en los que el ojeador otorga una calificación más alta. Algunos términos, en particular "ambos pies" y "habilidad", apenas se mencionan en los jugadores a los que se concede una calificación "C" o inferior.
Las barras representan el % de documentos que utilizan el término
Términos de scouting utilizados por posición
Como parte del estudio, queríamos ver si ciertos términos eran específicos de la posición. La siguiente tabla muestra la frecuencia con la que se utilizaron los términos en función de la posición del jugador evaluado.
Una de las conclusiones más destacadas fue que los términos relacionados con la posesión y el movimiento predominaban cuando los ojeadores evaluaban a los centrocampistas, mientras que se omitían otros términos utilizados habitualmente para los defensas y los delanteros.
Cuando se evalúa a los delanteros, es comprensible que el término "gol" obtenga una puntuación alta, aunque también se utiliza una gran proporción de términos generales. En el caso de los defensas, los atributos clave específicos de la posición aparecen con mucha frecuencia, sobre todo "defender", "posición", "juego aéreo", "velocidad" y los términos basados en la posesión.
Las barras representan el % de documentos que utilizan el término
Conclusión
A partir del estudio de una muestra muy reducida de informes escritos, pudimos observar fluctuaciones en la terminología de ojeador utilizada, tanto en un contexto positivo como negativo, en función de la posición evaluada, la calificación final y el autor del informe. También encontramos diferencias en el recuento de palabras de cada scout y una correlación entre el número de palabras utilizadas y la calificación final otorgada, siendo las calificaciones más altas las que tienen un mayor número de palabras.
Por supuesto, los resultados de un ejercicio de este tipo sólo pueden medirse correctamente si se comprenden las instrucciones específicas que se dieron a los ojeadores. Por ejemplo, hemos destacado que el número de menciones positivas superó con creces a las negativas, pero esto puede ser el resultado directo de cómo se ha informado a los ojeadores sobre lo que se les ha pedido que informen. Lo mismo ocurre con los términos específicos utilizados por posición: también en este caso, es posible que se haya dicho a los ojeadores que informen sobre atributos específicos de la posición, lo que puede reflejarse en los resultados finales.
Dicho esto, dada la importancia de un buen reclutamiento y el impacto que un informe puede tener en la toma de decisiones, es evidente el valor de extraer periódicamente evaluaciones escritas como parte de una auditoría de scouts más amplia, aunque sólo sea para confirmar que cada colaborador está presentando informes de acuerdo con sus instrucciones.
Otra conclusión clave, aunque indirecta, también pone de relieve la importancia de estructurar las plantillas de evaluación para obtener los resultados deseados. Esto puede referirse a la forma de estructurar los cuestionarios, la elección de criterios, los intervalos, las preguntas formuladas, la elección de respuestas disponibles y las directrices establecidas si se opta por incluir un testimonio escrito. Si no lo haces bien, puede resultar muy difícil interpretar la información que llegue.
--
El Dr. Garry Gelade es miembro de la Asociación Americana de Psicología y miembro fundador de la Sociedad Británica de Psicología.
Es fundador de Business Analytic, una consultoría independiente especializada en investigación organizativa, analítica deportiva y estadística aplicada. Es asociado del Centre for Research in Applied Creativity de Ontario, ha sido investigador visitante en la City University (Cass) Business School y es autor de veintisiete artículos científicos revisados por pares.
