朝廷很多人都私下觉得太子不是做皇帝的料，期盼皇帝另立太子。大臣王轨对太子的言行十分不满，常和贺若弼在一起谈论此事。贺若弼也深以为然。不久，王轨就将太子的不端品行告诉了武帝，同时还对武帝说：“我曾经和贺若弼谈过，都觉得太子不是帝王之器。”
武帝听了这话后，就当面询问贺若弼是否如此。贺若弼一听皇上问他太子之事，马上想起老父亲的临终遗言，担心祸从口出，忙含糊地回答说：“皇太子德业日新，臣愚拙，未看出有什么不妥之处。”武帝听后默然不语，心里十分明白王轨说的不差。
事后，王轨指责贺若弼说话反复，出卖了自己。贺若弼却说：“您做事太草率了，这种事情你不能说的太白了，应点到为止，让皇上自己慢慢领会。一旦事与愿违，就会招来灭门之祸！所以我不敢轻易地发表意见。”事情的发展果然不出贺若弼所料，太子对这件事一直耿耿于怀，在即位之后就将王轨等人处死。而贺若弼因为自己的小心谨慎，躲过了一劫。
