足球可能比其他任何体育运动都更注重观点。
无论你是球员、教练、球探、主教练、主席还是支持者，你都有可能根据肉眼所见对比赛中的关键事件或某个球员的表现做出不同的解读，而这无疑会受到已有观点和以往经验的影响。
然而，当你从事专业的球探和招募工作，每月评估数百名甚至数千名球员的表现时，作为一个集体部门，你能采取哪些措施来确保决策过程中的每个利益相关者在考虑俱乐部关键要求的情况下，在评估中采用相同水平的一致性？
鉴于招募球员需要大量的资金投入，每家俱乐部都必须确保在招募过程中没有任何个人对个人评估中的某些标准采用不同的价值观，无论是正面的还是负面的。如果一名球探对球员的表现赞不绝口，而另一名球探却不愿意给出积极的评价，那么就有可能出现对报告的理解不一致的情况，从而影响到关键的决定。
在所有这一切中，评估模板的结构对于确保获得理想结果绝对至关重要。
在各行各业中，招聘应聘者的甄选标准可能包含基于数字的定量评估和主观的定性因素，如应聘者在工作面试中的表现。在足球比赛中，求职面试所占的比重可能较小，但评估模板仍可能包括定量评估（例如针对特定职位标准的数字问卷）和某种定性书面评估或裁决。
从定量的角度来看，直接比较几份不同报告中的分数矩阵并找出单项分数权重中的差异要容易得多，但是否也可以这样做，找出童子军在提交书面评估时经常使用的单词和短语中的差异呢？
为了找出答案，我最近为 OptaPro 公司完成了一个项目，其中包括对该公司咨询业务部门编制的旧球探报告进行文本挖掘研究。这些报告都是几年前撰写的，现在已经没有什么价值了，因为所有被评估的球员都已经不再活跃在职业赛场上。
其中一些发现非常重要，突出了定期检查输入评估模板自由文本框中的书面证词的价值。
在本博客中，我将重点介绍报告中的一小部分结论，我相信这可能是第一份适用于职业足球的同类报告。
研究综述
我总共分析了 140 多份报告，并对每份报告进行了编码，以便根据重复出现的单词和短语将侦察员的评论分为五类：
调查结果
正面与负面提及，按类别分列
在文本挖掘之后，我发现的第一个明确结论是，在所有类别的报告中，正面评价的比例高于负面评价。如下表所示，平均而言，童子军的正面评论是负面评论的三倍。
| 编码类别 | 正面提及 | 负面提及 | 积极比率 |
|---|---|---|---|
| 自信与沉着 | 35 | 10 | 78% |
| 创造力 | 7 | 6 | 54% |
| 活力与工作效率 | 46 | 13 | 78% |
| 步伐 | 30 | 18 | 63% |
| 通过 | 47 | 18 | 72% |
| 总体情况 | 165 | 65 | 72% |
正面与负面提及，按童子军分列
在按侦察兵进行直接比较方面，我们发现了一些非常有参考价值的结果，这些结果表明，每个侦察兵（注意，表中的所有名字都是化名）所作的正面和负面评论的数量相差很大。
让这些发现更有意义的是，我们还发现正面评价的数量与球探给球员的最终主观 "评分"（从 A 到 D 不等，A 为高）之间存在直接联系。我们发现，球探正面评价越多，给球员的评分就越高。
| 名称 | 报告数量 | 正面提及 | 负面提及 | 积极比率 |
|---|---|---|---|---|
| 亚历克斯-科尔 | 23 | 21 | 0 | 100% |
| 克里斯-霍本 | 20 | 36 | 5 | 88% |
| 特里-迪安 | 12 | 14 | 4 | 78% |
| 乔恩-罗宾逊 | 8 | 6 | 2 | 75% |
| 戴维-怀特豪斯 | 9 | 10 | 6 | 63% |
| 克里斯-坎利夫 | 12 | 14 | 9 | 61% |
| 亚历克斯-登普西 | 20 | 24 | 17 | 59% |
| 西蒙-蒂米斯 | 16 | 12 | 10 | 55% |
| 安德鲁-阿姆斯特朗 | 8 | 6 | 5 | 55% |
按职位分列的类别提及率
除了比较积极和消极因素外，我们还研究了根据每个球探评估球员的位置，每个类别被提及的频率。结果表明，球探在某些位置上比在其他位置上更多地提及某些标准：
正如您所看到的，球探们对后卫和中场球员的速度和传球的评价远高于对前锋的评价，而对中场球员的活力和工作率的评价则高于对后卫和前锋的评价。当然，这些发现可能反映了这些位置的关键属性，但从管理角度来看，这可能表明球探需要有意识地考察他们以前在报告中忽略的属性。
| 编码类别 | 后卫 | 转发 | 中场球员 |
|---|---|---|---|
| 沉着与自信 | 33% | 16% | 33% |
| 创造力 | 3% | 6% | 12% |
| 活力与工作效率 | 22% | 33% | 50% |
| 步伐 | 53% | 28% | 56% |
| 通过 | 42% | 11% | 52% |
按评级使用的侦察术语
除了对侦察员使用的各种词语进行分类外，我们还分析了特定词语在报告中出现的次数，以及它们如何根据侦察员最终给出的 A-D 评级而变化。
同样，您可以看到球探给予较高评级的报告中使用术语的次数明显增加。一些术语，尤其是 "任一脚 "和 "能力"，在被评为 "C "级或以下的球员中几乎从未出现过。
条形图表示使用术语的文件百分比
各位置使用的球探术语
作为研究的一部分，我们希望了解某些术语是否与位置有关。下表根据被评估球员的位置，重点说明了术语的使用频率。
其中一个突出的结论是，当球探评估中场球员时，与控球和移动有关的术语占主导地位，而其他几个经常用于后卫和前锋的术语则被忽略。
在评估前锋时，可以理解的是 "进球 "一词得分很高，但也有很大比例的全面术语被使用。对于后卫，与该位置相关的关键属性得分很高，尤其是 "防守"、"位置"、"高空"、"速度 "和控球术语。
条形图表示使用术语的文件百分比
结论
通过研究极少量的书面报告样本，我们可以发现，根据被评估的位置、最终评级和报告作者的不同，所使用的球探术语也有正负之分。我们还发现，每名侦察员的报告字数不同，所用字数与最终评级之间存在相关性，评级越高，字数越多。
当然，只有在了解对侦察员的具体指示的基础上，才能正确衡量这项工作的成果。例如，我们强调了正面报道的数量远远多于负面报道的数量，但这可能是球探们被告知报告内容的直接结果。各位置使用的特定术语也是如此--同样，球探可能被告知要报告各位置的特定属性，这可能会反映在最终结果中。
尽管如此，考虑到良好招聘的重要性以及报告对决策的影响，作为更广泛的侦察审计的一部分，定期挖掘书面评估显然是有价值的，哪怕仅仅是为了确认每个派遣人员都按照他们的要求提交了报告。
另一个重要结论（如果是间接结论的话）也强调了设计评估模板的重要性，这样才能获得理想的结果。这可能涉及到如何构建调查问卷、标准的选择、范围、提出的问题、可供选择的答案，以及如果你选择包括书面证词的指导原则。如果做得不好，就很难解释所得到的信息。
--
Garry Gelade 博士是美国心理学协会会员和英国心理学会特许会员。
他是商业分析公司（Business Analytic）的创始人，这是一家专门从事组织研究、体育分析和应用统计的独立咨询公司。他是安大略省应用创造力研究中心（Centre for Research in Applied Creativity）的合伙人，曾任城市大学（卡斯）商学院客座研究员，发表过 27 篇经同行评审的科学论文。
