此话一出，谢方叔只是一怔，赵昀已经有怒气了。
“不可，有何不可？”赵昀问道。
“官家应当立贤者为太子，才可保国家兴盛，使得大宋昌盛！使得百姓安康！此事，官家还需再作商量才可！”
“以你之意，忠王乃是庸笨之人，是吧？”
“忠王是否愚笨，臣尚不可知，可忠王绝非贤者！还请陛下三思而后行，再立太子。”
赵昀只是道：“朕若立忠王为太子，汝又要如何说？！”
“陛下，若是如此，臣只得说，臣无史弥远之才，忠王亦无陛下之福！”
“放肆！”赵昀一脚踢开了鱼竿。
吴潜不卑不亢，只是立在那里，双手拱起来，作恭敬状。
“吴潜！汝口无遮拦，知道自己在说什么吗？”赵昀怒声道。
吴潜却是道：“官家，臣当然知道自己在说什么！自古立太子，贤长者俱先，而忠王天资不仅不聪慧，且难及常人，怎可当太子大位！”
“吴潜!你的胆子真是大呀！方才你那句话，你知道自己在说什么吗？”赵昀倒没有理会吴潜现在说的话，而是直接跳到上一句话了。
上一句，吴潜说“臣无史弥远之才，忠王亦无陛下之福”，其意思是，当时宋理宗赵昀得到皇帝大位，全是因为权臣史弥远与当时已经立为皇子的赵竑（且后来有意向将之立为太子）产生了矛盾，赵竑厌烦史弥远作威作福，因此决心要在自己继位之后，将史弥远流放远处。
而在这之前，史弥远为了讨好且监视赵竑，给赵竑送去了一位善于奏琴的美人，而赵竑则对那位美人说道：“弥远当决配八千里。”接着，他又指着地图上的琼崖，对美人说道：“吾他日得志，置史弥远于此。”这事当然被史弥远得知，遂将赵竑废除，后来一次碰巧遇到了赵昀，赵昀竟然写下“朕闻上古”四个字，史弥远震惊，遂决定立赵昀为太子。
因此，赵昀的皇位的得来，完全就是运气。而吴潜这般说，就是在揭宋理宗赵昀的短，赵昀岂能不怒？
又加之他明摆着说忠王愚笨，赵昀就更加生气了。
吴潜仍然是不卑不亢的样子，一旁的谢方叔则处在十分尴尬的境地，他立马充当了和事佬的职责，连忙道：“官家请息怒！吴相也是为了国家好！”
“为了国家？朕看他就是成心针对朕！”
谢方叔只是转向吴潜道：“毅夫，这也是你的不对，你纵然有你的道理，也不得这般无礼啊！”