テキストベースの定性的なスカウティング評価を分析する価値

サッカーは、おそらく他のどのスポーツよりも、意見のゲームである。

選手であれ、コーチであれ、スカウトであれ、監督であれ、チェアマンであれ、サポーターであれ、試合中の重要な出来事や特定の選手のパフォーマンスについて、肉眼で見るのと肉眼で見ないのとでは、解釈が違ってくる可能性がある。

しかし、スカウトやリクルートというプロフェッショナルな仕事に携わり、毎月何千人とは言わないまでも何百人もの選手のパフォーマンスを評価している場合、クラブの主要な要件を考慮した上で、意思決定プロセスに関わるすべての関係者が評価に同じレベルの一貫性を適用するために、部門としてどのような手段を講じることができるだろうか？

選手の獲得には多額の資金が必要であることを考えると、どのクラブも確実にしなければならないのは、個々の評価基準に対して肯定的であれ否定的であれ、異なる価値観を適用する人物がプロセスに関与していないことだ。あるスカウトがすぐに褒める一方で、別のスカウトが肯定的な評価を下すことに消極的であれば、レポートの解釈に矛盾が生じ、重要な決断に影響を及ぼす危険性がある。

このような中で、アセスメント・テンプレートの構成は、望ましい結果を確実に得るために絶対的に重要である。

様々なビジネス分野において、採用候補者の選考基準には、数値に基づく定量的な評価と、面接における候補者のパフォーマンスなどの主観的な定性的要素が混在することがあります。サッカーでは面接はあまり重要視されないかもしれませんが、評価テンプレートは依然として、何らかの定性的な書面評価や評決とともに、例えばポジション固有の基準を示す数値的なアンケートなど、定量的な組み合わせで構成されることがあります。

定量的な観点からは、複数の異なる報告書を点数ベースのマトリックスで直接比較し、個々の点数の重み付けの不一致を特定する方がはるかに簡単ですが、同じようにして、スカウトが評価書を提出する際に頻繁に使用する単語やフレーズの不一致を特定することは可能でしょうか？

それを調べるために、私は最近OptaPro社のプロジェクトを完了した。同社のコンサルタント業務がまとめた古いスカウティングレポートのテキストマイニング調査である。これらのレポートは数年前に書かれたもので、現在ではほとんど価値がない。

いくつかの発見は非常に重要であり、評価テンプレートの自由記述欄に記入された証言を定期的にチェックすることの価値を浮き彫りにした。

このブログでは、プロフットボールに適用されるこの種のものとしては初めてと思われる、報告書の調査結果のごく一部を紹介する。

研究の総括

合計で140以上のレポートを分析し、各レポートはスカウトのコメントが繰り返し使われる単語やフレーズに基づいて5つのカテゴリーに分類されるようにエンコードされた：

調査結果

ポジティブな言及とネガティブな言及（カテゴリー別

テキストマイニングの結果、私が最初に見つけた決定的な結論は、すべてのカテゴリーにおいて、否定的なものに比べて肯定的な言及の割合が高いということだった。下の表で強調されているように、平均してスカウトは否定的なコメントの3倍も肯定的なコメントを寄せている。

スカウト別、肯定的な言及と否定的な言及

スカウト別の直接比較という点では、各スカウトの肯定的なコメントと否定的なコメントの数に大きな相違があることを示唆する、非常に有益な発見を掘り起こすことができた（表中の名前はすべて偽名であることに注意）。

これらの発見をさらに重要なものにしているのは、肯定的な発言の数と、スカウトが選手に与えた最終的な主観的「評価」（A～Dの範囲で、Aが高い）の間に直接的な関連性があることもわかったことだ。スカウトが肯定的な発言をすればするほど、その選手の評価は高くなることがわかった。

ポジション別カテゴリー・メンション

ポジティブとネガティブの比較だけでなく、各スカウトが評価した選手のポジションに基づいて、各カテゴリーが言及された頻度も調査した。その結果、スカウトがあるポジションについて、他のポジションよりも特定の基準に言及していることが明らかになった：

ご覧のように、スカウトはディフェンダーとミッドフィルダーについて、ペースとパスについてフォワードよりもはるかに頻繁に言及しており、一方でダイナミズムとワークレートについては、ディフェンダーとフォワードに比べてミッドフィルダーの評価でより多く言及されている。もちろん、これらの調査結果は、これらのポジションの主要な特性を反映しているのかもしれないが、マネジメントの観点からは、スカウトがこれまでレポートの中で軽視してきた特性に意識的に目を向ける必要があることを示唆しているのかもしれない。

スカウト用語

スカウトが使用した様々な用語を分類するだけでなく、特定の単語がレポートに登場した回数や、スカウトが下した最終的なA-D評価によってどのように変化するかも分析した。

繰り返しになるが、スカウトが高評価を与えたレポートでは、用語の使用回数が著しく増加していることがわかる。特に「どちらかの足」と「能力」という用語は、「C」評価以下の選手ではほとんど言及されていない。

棒グラフは用語が使われている文書の割合を表す。

ポジション別スカウト用語

調査の一環として、私たちは特定の用語がポジションに特有であるかどうかを確認したいと考えた。以下の表は、評価対象選手のポジション別に、用語の使用頻度を示したものである。

目立った結論のひとつは、スカウトがミッドフィルダーを評価する際に、ポゼッションとムーブメントに関する用語が支配的であった一方で、ディフェンダーやフォワードに常用される他のいくつかの用語が省略されていたことである。

フォワードを評価する場合、当然のことながら「ゴール」という用語が高いスコアを獲得したが、オールラウンドな用語も多くの割合で使用された。ディフェンダーに関しては、そのポジションに特化した主要な属性、特に「ディフェンス」、「ポジション」、「空中戦」、「ペース」、そしてポゼッションに基づく用語が高い評価を得ている。

棒グラフは用語が使われている文書の割合を表す。

結論

ごく少数の報告書のサンプルを調査したところ、評価されるポジション、最終的な評価、報告書の作成者によって、肯定的な意味でも否定的な意味でも、使用されるスカウト用語に変動があることがわかった。また、各スカウトの単語数にも違いがあり、使用された単語数と最終的な評価には相関関係があり、高い評価ほど単語数が多いこともわかった。

もちろん、このような練習の成果は、スカウトに与えられた非常に具体的な指示を理解した上でしか正しく測ることはできない。例えば、ポジティブな言及の数がネガティブな言及を大きく上回ったことを取り上げたが、これはスカウトが何を報告するように指示されたかをどのように説明したかの直接的な結果かもしれない。スカウトがポジションに特化した属性について報告するよう指示され、それが最終的な結果に反映されたのかもしれない。

とはいえ、優秀なスカウトの重要性と、レポートが意思決定に与える影響を考えれば、各投稿者がそれぞれの概要に沿ったレポートを提出しているかどうかを確認するだけでも、より広範なスカウティング監査の一環として、定期的に評価書を採掘する価値があるのは明らかだ。

もう一つの重要な結論は、間接的ではありますが、望ましい結果が得られるように評価テンプレートを構成することの重要性を強調しています。これは、アンケートの構成方法、基準の選択、範囲、質問、回答の選択、証言を含めることを選択した場合のガイドラインなどに関するものです。これがうまくいかないと、入ってきた情報を解釈するのが非常に難しくなります。

--

米国心理学会会員、英国心理学会チャーターメンバー。

組織研究、スポーツ分析、応用統計学を専門とする独立系コンサルタント会社、ビジネス・アナリティックの創設者。オンタリオ州応用創造性研究センターのアソシエイトであり、過去にはシティ大学（キャス）ビジネススクールの客員研究員も務めた。