정성적 텍스트 기반 서면 스카우트 평가 분석의 가치

축구는 다른 어떤 스포츠보다도 의견의 싸움입니다.

선수, 코치, 스카우트, 감독, 구단주, 서포터 등 어떤 위치에 있든 경기의 주요 사건이나 특정 선수의 활약을 육안으로 보는 것에 따라 다르게 해석할 가능성이 있으며, 이는 당연히 기존의 관점과 이전 경험에 영향을 받을 수밖에 없습니다.

하지만 매달 수천 명은 아니더라도 수백 명의 선수의 성과를 평가하는 스카우트 및 채용 프로 비즈니스에서 일할 때, 의사 결정 과정에 참여하는 모든 이해관계자가 구단의 주요 요구 사항을 고려하여 평가에 동일한 수준의 일관성을 적용하도록 하기 위해 집합 부서로서 어떤 조치를 취할 수 있을까요?

선수 영입에 상당한 재정적 투자가 필요하다는 점을 고려할 때, 모든 구단이 반드시 지켜야 할 한 가지는 개별 평가의 특정 기준에 대해 긍정적이든 부정적이든 다른 가치를 적용하는 개인이 그 과정에 관여하지 않도록 하는 것입니다. 한 스카우트는 매우 빠르게 칭찬하는 반면 다른 스카우트는 긍정적인 평가를 꺼린다면 보고서 해석에 불일치가 발생하여 중요한 결정에 영향을 미칠 위험이 있습니다.

이 모든 것 중에서 원하는 결과를 얻으려면 평가 템플릿의 구조가 절대적으로 중요합니다.

다양한 비즈니스 분야에서 채용 후보자 선발 기준에는 수치 기반의 정량적 평가와 면접에서의 지원자의 성과와 같은 주관적인 정성적 요소가 혼합되어 있을 수 있습니다. 축구에서는 면접이 그다지 중요하지 않을 수 있지만, 평가 템플릿에는 직책별 기준이 포함된 수치화된 설문지와 같은 정량적 평가와 일종의 정성적 서면 평가 또는 평결이 함께 포함될 수 있습니다.

정량적 관점에서 보면 여러 보고서의 점수 기반 매트릭스를 직접 비교하고 개별 점수의 가중치 차이를 식별하는 것이 훨씬 쉽지만, 스카우트가 서면 평가를 제출할 때 자주 사용하는 단어와 문구에서 동일한 작업을 수행하고 불일치를 식별할 수 있을까요?

이를 알아보기 위해 저는 최근 옵타프로의 컨설팅 부서에서 작성한 오래된 스카우팅 보고서에 대한 텍스트 마이닝 연구를 수행하는 프로젝트를 완료했습니다. 이 보고서는 몇 년 전에 작성된 것으로, 평가 대상이었던 모든 선수가 더 이상 프로 선수로 활동하지 않기 때문에 지금은 거의 가치가 없습니다.

일부 결과는 매우 유의미했으며, 평가 템플릿의 자유 텍스트 상자에 입력된 서면 증언을 정기적으로 확인하는 것의 가치를 강조합니다.

이 블로그에서는 프로 축구에 최초로 적용될 수 있을 것으로 생각되는 보고서 결과 중 일부만 소개하고자 합니다.

연구의 일반적 요약

총 140개가 넘는 보고서를 분석했고 각 보고서는 인코딩되어 반복되는 단어나 문구를 기반으로 스카우트의 의견을 5가지 카테고리로 분류할 수 있었습니다:

결과

카테고리별 긍정 멘션과 부정 멘션 비교

텍스트 마이닝을 통해 얻은 첫 번째 결론은 모든 카테고리에서 긍정적인 언급의 비율이 부정적인 언급에 비해 높다는 것이었습니다. 아래 표에서 볼 수 있듯이 평균적으로 스카우트들은 부정적인 언급보다 긍정적인 언급을 3배 더 많이 했습니다.

긍정적 멘션과 부정적 멘션, 스카우트별 비교

스카우트별로 직접 비교한 결과, 각 스카우트가 작성한 긍정적인 댓글과 부정적인 댓글의 수에 큰 차이가 있다는 매우 유익한 결과를 발견할 수 있었습니다(표의 모든 이름은 가명임을 참고하세요).

이러한 결과가 더욱 의미 있는 이유는 긍정적인 언급의 수와 스카우트가 선수에게 부여한 최종 주관적 '평점'(A-D 범위, A가 높을수록 높음) 사이에 직접적인 연관성이 있다는 사실을 발견했기 때문입니다. 스카우트가 긍정적인 언급을 많이 할수록 선수에게 더 높은 평점을 준 것으로 나타났습니다.

카테고리 멘션, 직급별 분류

긍정적인 요소와 부정적인 요소를 비교하는 것뿐만 아니라 각 스카우트가 평가하는 선수의 포지션에 따라 각 항목이 얼마나 자주 언급되었는지도 연구했습니다. 그 결과, 스카우트들은 특정 포지션에 대해 다른 포지션보다 특정 기준을 더 많이 언급했다는 사실을 알 수 있었습니다:

보시다시피, 스카우트들은 수비수와 미드필더의 경우 공격수보다 훨씬 더 자주 페이스와 패스를 언급했으며, 미드필더 평가에서는 수비수나 공격수에 비해 역동성과 작업 속도가 더 많이 언급되었습니다. 물론 이러한 결과는 해당 포지션의 주요 속성을 반영한 것일 수 있지만, 관리 측면에서 볼 때 스카우트들이 이전에는 보고서에서 소홀히 했던 속성을 의식적으로 살펴볼 필요가 있음을 시사할 수 있습니다.

등급별 스카우트 용어 사용

스카우트가 사용하는 다양한 용어를 분류하는 것 외에도 보고서에 특정 단어가 등장한 횟수와 스카우트가 부여한 최종 A-D 등급에 따라 어떻게 달라질 수 있는지도 분석했습니다.

다시 한 번, 스카우트가 높은 등급을 부여하는 보고서에서 용어가 사용되는 횟수가 눈에 띄게 증가했음을 알 수 있습니다. 특히 '양발'과 '능력'과 같은 일부 용어는 'C' 등급 이하를 받은 선수에게는 거의 언급되지 않습니다.

막대는 해당 용어를 사용하는 문서의 %를 나타냅니다.

포지션별로 사용되는 스카우트 용어

연구의 일환으로 특정 용어가 포지션에 따라 달라지는지 살펴보고자 했습니다. 다음 표는 평가 대상 선수의 포지션에 따라 용어가 얼마나 자주 사용되는지 보여줍니다.

눈에 띄는 결론 중 하나는 스카우트들이 미드필더를 평가할 때 소유권과 움직임과 관련된 용어가 지배적이었던 반면, 수비수와 공격수에게 자주 사용되는 다른 용어는 생략되었다는 점입니다.

공격수를 평가할 때는 당연히 '골'이라는 용어가 높은 점수를 받았지만, 종합적인 용어도 많이 사용되었습니다. 수비수의 경우 '수비', '위치', '공중', '속도' 및 소유권 기반 용어 등 포지션에 특화된 주요 속성이 높게 나타났습니다.

막대는 해당 용어를 사용하는 문서의 %를 나타냅니다.

결론

극히 일부의 보고서 샘플을 연구한 결과, 평가 대상 직위, 최종 등급, 보고서 작성자에 따라 긍정적인 맥락과 부정적인 맥락에서 사용되는 스카우트 용어의 변동이 있음을 확인할 수 있었습니다. 또한 각 스카우트의 단어 수와 사용된 단어 수와 최종 등급 간에 상관관계가 있으며, 등급이 높을수록 단어 수가 더 많다는 사실도 발견했습니다.

물론 이러한 훈련의 결과는 스카우트에게 주어진 매우 구체적인 지침을 이해해야만 제대로 측정할 수 있습니다. 예를 들어, 긍정적인 언급이 부정적인 언급보다 훨씬 많다는 점을 강조했지만, 이는 스카우트에게 보고할 내용에 대한 브리핑을 받은 직접적인 결과일 수 있습니다. 직책별로 사용된 특정 용어의 경우에도 마찬가지입니다. 스카우트 담당자가 직책에 따라 특정 속성에 대해 보고하라는 지시를 받았을 수 있으며, 이는 최종 결과에 반영될 수 있습니다.

하지만 좋은 인재 채용의 중요성과 보고서가 의사 결정에 미칠 수 있는 영향을 고려할 때, 각 기여자가 보고서를 제출하고 있는지 확인하기 위해서라도 광범위한 스카우트 감사의 일부로 서면 평가를 정기적으로 채굴하는 것은 분명 가치가 있습니다.

간접적이기는 하지만 또 다른 주요 결론은 원하는 결과를 얻을 수 있도록 평가 템플릿을 구성하는 것이 중요하다는 점을 강조합니다. 이는 설문지를 구성하는 방법, 기준의 선택, 범위, 질문, 가능한 답변의 선택, 서면 증언을 포함하기로 선택한 경우의 지침과 관련이 있을 수 있습니다. 이를 제대로 파악하지 못하면 들어오는 정보를 해석하기가 매우 어려울 수 있습니다.

--

개리 겔라드 박사는 미국 심리학 협회 회원이자 영국 심리학 협회의 헌장 회원입니다.

그는 조직 연구, 스포츠 분석 및 응용 통계를 전문으로 하는 독립 컨설팅 회사인 비즈니스 애널리틱의 설립자입니다. 온타리오주 응용 창의성 연구 센터의 부소장이자 전 시립대학교(카스) 경영대학원의 객원 연구원이었으며, 27편의 동료 심사 과학 논문을 저술한 바 있습니다.