高力士乖觉得很，看到皇帝不回应自己说的话，心中正隐隐后悔自己说话有些太急，遂点到为止，不再说此话题。
其实高力士不知，他的这番话还是警醒了李隆基，心中开始起意换掉王毛仲。然此非一朝一夕的事儿，须万分珍重，譬如谁来接手王毛仲？如此位置须寻来一个既对皇帝忠心，又能统御禁军的人儿，且应以王毛仲为鉴，其性情不能飞扬跋扈。若想寻来这样一个相对完美之人，恐非一日之功啊。
源乾曜越来越发现李林甫可堪造就，李林甫这日晚间入府拜望，源乾曜衷心赞道：“哥奴，你很好呀。我见崔隐甫与宇文融接连上奏再弹劾张说，生怕你也随同。呵呵，你未盲目跟从，殊为可嘉呀。”
李林甫道：“晚辈当初随他们弹劾张说，那是基于所职本分和正义。张说如今不过在酒宴上说过几句狂话，其出狱后一时激动，殊为难免，也就不必认真了。”
源乾曜赞许道：“孺子可教。哥奴呀，张说此次被罢中书令，然其他官秩犹存，可见皇恩浩荡啊。他们二人如此死缠烂打，明显想将张说置于死地，如此做就有些太过了，他们不是以张说为敌，明显想让圣上难堪嘛。嘿嘿，圣上从此不许张说上朝，然我知每遇大事时，圣上还会派人前去问询张说意见，哥奴，圣上圣明无比，他心中的主意实在明白得很呐。”