第二件是发生在万俟卨羞辱秦桧后不久。当时秦桧为提拔自己的亲信做官,便派小吏把任命状送给万俟卨,要求他副署同意。可万俟卨见到任命状后,却以没有接到圣旨为由拒绝副署。秦桧获悉后大怒,就此跟万俟卨断交。随后,言官李文会、詹大方作为秦门党徒,按照秦桧的授意,在高宗面前极力弹劾万俟卨,最终迫使皇帝将其罢职远流,后酌情迁移到沅州。
万俟卨废居沅州长达十余年时间,直到秦桧病死后的次年(1156年),才被高宗再度征召回朝,并重新担任参知政事,此时他已是年过七十的老翁。不久,万俟卨升任宰相,并继续执行投降主义路线,深为百姓所恨。次年,万俟卨病死,终年75岁。这位坑害岳飞的巨奸小丑,最后却得以善终,实在令人愤慨至极。