我们首先通过沟通成功率和沟通效率来验证所设计的训练框架的有效性。

1. 沟通成功率：我们假设当沟通准确率大于80%时，智能体间形成了新的沟通系统。如图(a)所示，除one-step以外，智能体在其他实验设置下都形成了新的沟通系统，这表明了我们的训练框架能够使智能体成功沟通，同时说明了交互式的时序沟通因素的重要性。

2. 沟通长度：人类实验结果中，在反复沟通后，绘图所需笔画数会越来越少。如图(b)所示，对于能够改变沟通长度的设置(complete, sender-fixed)，沟通长度会逐渐下降，这表示我们设计的隐性奖励和惩罚能够促使智能体减少沟通长度来提高沟通效率。

3. 准确 vs 效率：智能体沟通长度减少可能有两个原因：一是为了在保证准确率的情况下提高沟通效率，二是在长沟通中学习困难因而向短沟通收敛。其中第一个才是符合我们预想的原因。我们在训练过程中，测试接收者对发送者画的笔画数为1,3,5,7的草图的判断准确率。如图(c)cumulative的测试结果（使用REINFORCE训练作为比较基准），笔画越多的草图准确率越低，说明沟通长度减少是因为无法在较长的沟通中学习更新。相比较之下，我们提出的训练框架，笔画越多的草图准确率首先达到最高（保证准确率），笔画较少的草图的准确率接着也逐渐上升到笔画数为7的准确率（降低笔画数来提高沟通效率），表示智能体在积极平衡准确率和效率。