不是他的对手。宫中几个皇子都是被他磨大的，都不太敢惹他，四皇子是皇后亲生的，赵衍泽七岁时，宫中做仪仗，圣上想到他出入不便，赐了一台御辇给他，阖宫皇子都没有，四皇子就有点不满。赵衍泽身边讲书的老师教他推辞，说：“官家恩宠虽深，王爷也要为将来考虑，官家保不了王爷一世，以后难免要与诸皇子相处，不如现在早做打算。”话虽隐晦，暗示的是以后皇子登基，只怕容他不下。
赵衍泽答得也巧妙：“我未必活到那时候。”
宫中没有秘密，这话立刻就传到官家耳中，官家心中何其沉痛，一夜都难眠。后来宗室中商议立太子，官家只一句话驳回：“老四诸样都好，只是没有容人之量。”
十三年过去，宫中至今未立太子，明眼人都知道，赵衍泽会是其中举足轻重的力量。说句诛心的话，也正是因为他这身体，所以官家可以肆无忌惮地宠他，封地、宫殿、府邸，一年年地赐，把对诸皇子的宠爱都寄托在他身上。
他是没有根的树，看不到未来的溪流，堆花的锦缎再好，未来都要被一刀斩断，权势再高，家业再厚，终不是长久之计。