实还是因为周吕侯去世，汉家没有帅才可用，高皇帝忌惮于韩信往日谋逆的往事，不敢再信任外臣，所以希望太子能够找出来帮帮自己。

最终，高皇帝还是亲自带兵东征，群臣留守，都送到灞上。

张良患病，自己勉强支撑起来，送到曲邮，谒见高皇帝说“我本应跟从前往，但病势沉重。楚国人马迅猛敏捷，希望陛下不要跟楚国人斗个高低。”

张良又趁机规劝高皇帝说“让太子做将军，监守关中的军队吧。”

高皇帝说“子房虽然患病，也要勉强在卧床养病时辅佐太子。”这时叔孙通做太傅，张良任少傅之职。

高皇帝十二年（公元前195年），高皇帝随着击败英布的军队回来，病情更加严重，愈发想要更换太子。张良劝谏，刘邦不听，张良就托病不再理事。

太傅叔孙通引证古今事例进行劝说，死命争保太子；高皇帝假装答应了他，但还是想更换太子。

等到安闲的时候，设置酒席，太子刘盈在旁侍侯，建成侯吕释之先前请来的四人跟着太子，他们的年龄都已八十多岁，须眉洁白，衣冠非常壮美奇特。

高皇帝感到奇怪，问道“他们是干什么的？

”四个人向前对答，各自说出姓名，叫东园公、甪里先生、绮里季、夏黄公。

高皇帝于是大惊说“我访求各位好几年了，各位都逃避我，现在你们为何自愿跟随我儿交游呢？”

四人都说“陛下轻慢士人，喜欢骂人，我们讲求义理，不愿受辱，所以惶恐地逃躲。我们私下闻知太子为人仁义孝顺，谦恭有礼，喜爱士人，天下人没有谁不伸长脖子想为太子拼死效力的。因此我们就来了。”

听到四人的话，高皇帝若有所思地说“烦劳诸位始终如一地好好调理、保护太子吧。”

四个人敬酒祝福完毕，小步快走离去。

高皇帝目送他们离去后，召唤戚夫人过来，指着那四个人给她看，说道“我想更换太子，他们四个人辅佐他，太子的羽翼已经形成，难以更动了。吕后真是你的主人了。”

戚夫人哭了起来，高皇帝说“你为我跳楚国的舞蹈，我为你唱楚国的歌。”

高皇帝唱道“鸿鹄高高飞起，一跃翱翔千里。羽翼已经长成，横跨超越四海。已然纵横四海，还能奈他如何！虽有利箭长绳，又能何处施展！”

高皇帝唱了几遍，戚夫人抽泣流泪，高皇帝起身离去，酒宴结束。

高皇帝最终没更换太子，原因是张良（教吕释之）招揽的这四个人效力太子，让高皇帝认为，朝中的文武大臣都很拥护太子，太子仁义的名号也传遍了天下。

而在高皇帝一朝，吕氏外戚的两个男丁吕泽、吕释之两人，一个帮高皇帝平定了天下，另一个帮孝惠皇帝稳住了太子的位置，二人都是国家的栋梁。

但吕家很不幸的是，吕泽、吕释之的儿子都没有得到很好教养。

吕泽的儿子吕台、吕产，都是后来谋划叛逆之事的人，吕释之的长子吕则得侯第二年，建成侯国就因罪被废除，吕释之得另一个儿子吕禄，也同样是谋逆之人。

吕台是吕产的长兄，在后来太祖高皇帝驾崩之后，吕产劝说长兄吕台为吕家揽收权力，吕台因为父亲吕泽战功赫赫而没有顾忌，才导致了后来吕氏外戚子弟不恭，吕产、吕禄举兵谋逆的事。

吕禄的父亲是建成侯吕释之，吕产、吕台的父亲是周吕侯吕泽；周吕侯、建成侯对汉室立下了汗马功劳，他们的子孙却凭仗着父辈的武勋，谋划叛逆的事，实在是为公侯勋贵做出了坏的榜样。

如果没有吕禄、吕产等人得谋逆行为，吕氏外戚本来应该在我的笔下得到《世家》一篇，但发生了那样的谋逆之事后，吕泽、吕释之二人只能被我归为列传，其他的吕氏族人，则分散在其他几个部分当中。