O futebol, provavelmente mais do que qualquer outro esporte, é um jogo de opiniões.
Não importa se você é jogador, técnico, olheiro, gerente, presidente ou torcedor, há uma grande chance de que você interprete os principais incidentes de um jogo ou o desempenho de um determinado jogador de forma diferente com base no que você vê a olho nu, o que, sem dúvida, será influenciado por visões pré-existentes e suas experiências anteriores.
No entanto, quando se trabalha no ramo profissional de scouting e recrutamento, avaliando o desempenho de centenas, se não milhares, de jogadores todos os meses, que medidas você pode tomar, como um departamento coletivo, para garantir que todas as partes interessadas no processo de tomada de decisão apliquem o mesmo nível de consistência em suas avaliações, levando em conta os principais requisitos do clube?
Considerando os investimentos financeiros significativos necessários para o recrutamento de um jogador, uma coisa que todo clube deve garantir é que não haja nenhum indivíduo envolvido no processo que aplique um valor diferente, positivo ou negativo, a determinados critérios em uma avaliação individual. Se um olheiro for muito rápido em elogiar, enquanto outro for mais relutante em fazer uma avaliação positiva, há o risco de haver inconsistências na interpretação dos relatórios, o que poderia afetar uma decisão importante.
Em meio a tudo isso, a estrutura do modelo de avaliação é absolutamente crucial para garantir que você obtenha o resultado desejado.
Em uma grande variedade de setores de negócios, os critérios de seleção de candidatos podem incorporar uma combinação de avaliações quantitativas baseadas em números e fatores qualitativos subjetivos, como o desempenho do candidato em uma entrevista de emprego. Embora a entrevista de emprego possa ser um fator menos importante no futebol, os modelos de avaliação ainda podem incluir uma combinação quantitativa, por exemplo, um questionário numérico com critérios específicos do cargo, juntamente com algum tipo de avaliação ou veredicto qualitativo por escrito.
De um ponto de vista quantitativo, é muito mais fácil fazer comparações diretas com matrizes baseadas em pontuação em vários relatórios diferentes e identificar discrepâncias na ponderação de pontuações individuais; no entanto, é possível fazer o mesmo e identificar discrepâncias nas palavras e frases que são usadas com frequência pelos escoteiros quando eles enviam suas avaliações escritas?
Para tentar descobrir isso, concluí recentemente um projeto para a OptaPro, que consistiu em um estudo de mineração de texto de relatórios antigos de olheiros compilados pela operação de consultoria da empresa. Esses relatórios foram escritos há vários anos e agora têm pouco valor, pois todos os jogadores avaliados não estão mais em atividade no futebol profissional.
Algumas das descobertas foram altamente significativas e destacam o valor de verificar regularmente os depoimentos escritos inseridos em caixas de texto livre nos modelos de avaliação.
Neste blog, destacarei apenas um pequeno número das conclusões do relatório, que acredito ser o primeiro do gênero a ser aplicado ao futebol profissional.
Um resumo geral do estudo
No total, analisei mais de 140 relatórios e cada relatório foi codificado de forma que os comentários de um olheiro fossem divididos em cinco categorias com base em palavras e frases recorrentes:
Resultados
Menções positivas e negativas, por categoria
A primeira conclusão definitiva que encontrei, após a mineração de texto, foi uma proporção maior de menções positivas nos relatórios, em todas as categorias, em comparação com as negativas. Em média, os batedores fizeram três vezes mais comentários positivos do que negativos, conforme destacado na tabela abaixo.
| Categoria de codificação | Menções positivas | Menções negativas | Índice de positividade |
|---|---|---|---|
| Confiança e compostura | 35 | 10 | 78% |
| Criatividade | 7 | 6 | 54% |
| Dinamismo e ritmo de trabalho | 46 | 13 | 78% |
| Ritmo | 30 | 18 | 63% |
| Passagem | 47 | 18 | 72% |
| Geral | 165 | 65 | 72% |
Menções positivas e negativas, por olheiro
Em termos de comparações diretas por olheiro, conseguimos descobrir alguns resultados altamente informativos, que sugeriram grandes discrepâncias no número de comentários positivos e negativos feitos por cada olheiro (observe que todos os nomes na tabela são pseudônimos).
O que torna essas descobertas ainda mais significativas é o fato de também termos encontrado uma ligação direta entre o número de menções positivas e a "classificação" subjetiva final que o olheiro deu ao jogador (variando de A a D, sendo A a mais alta). Descobrimos que quanto mais afirmações positivas um olheiro fazia, mais alta era a classificação que ele dava ao jogador.
| Nome | Número de relatórios | Menções positivas | Menções negativas | Índice de positividade |
|---|---|---|---|---|
| Alex Cole | 23 | 21 | 0 | 100% |
| Chris Hoburn | 20 | 36 | 5 | 88% |
| Terry Dean | 12 | 14 | 4 | 78% |
| Jon Robinson | 8 | 6 | 2 | 75% |
| David Whitehouse | 9 | 10 | 6 | 63% |
| Chris Cunliffe | 12 | 14 | 9 | 61% |
| Alex Dempsey | 20 | 24 | 17 | 59% |
| Simon Timmis | 16 | 12 | 10 | 55% |
| Andrew Armstrong | 8 | 6 | 5 | 55% |
Menções na categoria, discriminadas por posição
Além de comparar os aspectos positivos com os negativos, também estudamos a frequência com que cada categoria foi mencionada com base na posição do jogador que cada olheiro estava avaliando. Os resultados deixam claro que os olheiros mencionaram determinados critérios para algumas posições mais do que para outras:
Como se pode ver, os olheiros mencionaram o ritmo e o passe dos zagueiros e meio-campistas com muito mais frequência do que os dos atacantes, enquanto o dinamismo e o ritmo de trabalho foram mais mencionados nas avaliações dos meio-campistas do que nas dos zagueiros e atacantes. É claro que essas descobertas podem refletir os principais atributos dessas posições, mas, do ponto de vista da administração, isso pode sugerir que os olheiros precisam examinar conscientemente os atributos que antes eram negligenciados nos relatórios.
| Categoria de codificação | Defensor | Avançar | Meio-campista |
|---|---|---|---|
| Compostura e confiança | 33% | 16% | 33% |
| Criatividade | 3% | 6% | 12% |
| Dinamismo e ritmo de trabalho | 22% | 33% | 50% |
| Ritmo | 53% | 28% | 56% |
| Passagem | 42% | 11% | 52% |
Termos de escotismo usados, por classificação
Além de categorizar os vários termos usados pelos olheiros, também analisamos o número de vezes que palavras específicas apareceram nos relatórios e como elas podem variar com base na classificação A-D final dada pelo olheiro.
Mais uma vez, você pode ver que há um aumento acentuado no número de vezes que os termos são usados nos relatórios em que o olheiro atribui uma classificação mais alta. Alguns termos, notadamente "um ou outro pé" e "habilidade", quase nunca são mencionados em jogadores que receberam nota "C" ou inferior.
As barras representam a porcentagem de documentos que usam o termo
Termos de olheiro usados por posição
Como parte do estudo, estávamos interessados em verificar se determinados termos eram específicos da posição. A tabela a seguir destaca a frequência com que os termos foram usados com base na posição do jogador que estava sendo avaliado.
Uma das conclusões mais marcantes foi como os termos relacionados à posse de bola e à movimentação predominaram quando os olheiros estavam avaliando os meio-campistas, enquanto vários outros termos usados regularmente para defensores e atacantes foram omitidos.
Ao avaliar os atacantes, é compreensível que o termo "gol" tenha tido uma pontuação alta, mas uma grande proporção de termos gerais também foi usada. No caso dos zagueiros, os principais atributos específicos da posição aparecem com alta frequência, principalmente "defender", "posição", "aéreo", "ritmo" e os termos baseados em posse de bola.
As barras representam a porcentagem de documentos que usam o termo
Conclusão
A partir do estudo de apenas uma pequena amostra de relatórios escritos, pudemos observar flutuações na terminologia de escotismo utilizada, tanto em um contexto positivo quanto negativo, com base na posição que está sendo avaliada, na classificação final e no autor do relatório. Também encontramos diferenças na contagem de palavras de cada olheiro e uma correlação entre o número de palavras usadas e a classificação final concedida, com notas mais altas tendo um número maior de palavras.
É claro que os resultados de tal exercício só podem ser medidos adequadamente com base na compreensão das instruções muito específicas que foram dadas aos olheiros. Por exemplo, destacamos como o número de menções positivas superou em muito as negativas, mas isso pode ser um resultado direto de como os olheiros foram instruídos sobre o que deveriam relatar. O mesmo vale para os termos específicos usados por posição - mais uma vez, o olheiro pode ter sido instruído a relatar atributos específicos da posição e isso pode se refletir nos resultados finais.
Dito isso, dada a importância de um bom recrutamento e o impacto que um relatório pode ter sobre a tomada de decisões, é evidente a importância de se fazer avaliações escritas regularmente como parte de uma auditoria de escotismo mais ampla, mesmo que seja apenas para confirmar que cada colaborador está enviando relatórios de acordo com suas atribuições.
Outra conclusão importante, ainda que indireta, também destaca a importância de estruturar seus modelos de avaliação para que você obtenha os resultados desejados. Isso pode estar relacionado à forma como você estrutura os questionários, à escolha dos critérios, aos intervalos, às perguntas feitas, à escolha das respostas disponíveis e às diretrizes em vigor, caso opte por incluir um depoimento por escrito. Se isso não for feito corretamente, pode ser muito difícil interpretar as informações recebidas.
--
O Dr. Garry Gelade é membro da American Psychological Association e membro fundador da British Psychological Society.
Ele é o fundador da Business Analytic, uma consultoria independente especializada em pesquisa organizacional, análise esportiva e estatística aplicada. É associado do Centre for Research in Applied Creativity, em Ontário, ex-pesquisador visitante da City University (Cass) Business School e autor de vinte e sete artigos científicos revisados por pares.
