张良随口一叹说：“正因如此，我才有如此抉择啊。”
张良的心腹闻言一怔，茫然不语，张良低声说：“我年轻时，散尽家财，行刺秦王，追随沛公，唯恐义不倾尽，智有所穷，方有今日的虚名。时下大局已定，天下太平，谋略当是无用之物了，我还能彰显其能吗？谋有其时，智有其废，进退应时，方为智者啊。”
张良与心腹有此一谈，但和外人他从不袒露心声。好友探望他，他从不议论时事。一次，群臣因刘邦要废掉太子刘盈之事找他相商，他枯坐良久，最后只轻声说：“皇上有此意愿，定有其道理，做臣子的怎能妄加评议呢？我对太子素来敬重，只恨我人微言轻，不能帮太子进言了。”
群臣苦劝，张良只是婉拒。群臣悻悻而去，张良的心腹对他说：“大人一口回绝，群臣皆有怨色，再说废立太子乃天下大事，大人怎忍置身事外，不闻不问呢？”
张良怅然道：“皇上性情，我是深知的啊。此事千头万绪，关系甚大，纵使我有心插手，只怕也会惹来一身的麻烦。群臣怪我事小，皇上忌怪于我事大，我又能怎么样呢？”
