有说他金屋藏娇被郡主发现因此惹怒了郡主的，也有人说其实是因为郡主发现了他好男风这才伤心据婚的，总之众说纷纭，各种版本的谣言四散而飞，尘嚣直上，皆是对许慕白不利的。
期间虽然也有几个深闺小姐偏帮着他说话，但是闺中女子的言语又有几人当真，值此多事之时，若是偏帮的多了反倒还会引人怀疑两人有暧昧，因此，除了最初有几个人帮着许府说话，到了后来，几乎是一头倒得将矛头指向许府。
前几天还无比风光荣耀的许府，瞬间就像是被拔了毛的山鸡，名声一落千丈。
朝中平日和许慕白关系不错的几个官员更是一夜之间像是串通好了一样，接连上书弹劾许慕白，叶落舒本身就是叶寒最宠爱的郡主，于是叶寒毫不犹豫的便顺势处理了许慕白，官降三级，直接从阁臣贬到了六品，这种突然巨变的打击，对许慕白来说，不可谓不重。
虽然在叶落舒将一切挑明之后，他便已经预料到了今日的地步，但是祸到临头他还是忍不住变了色。
这些年自己费尽心力爬到三品，居然说撸就被撸下来了，叫他心中如何不郁闷。
许家不同其他大族，无根无基，一旦被贬下来，便很难再爬上来。
虽然他还是有些才华的，但是这些年若不是看在叶落舒的面子上，官运又怎么可能如此通畅，而现在时局分明，宁王府是断不可能在和许家有任何瓜葛，于是，在离了叶落舒之后，几乎所有原来的故交好友都远离了他，他彻底成了朝中的一员冷门。