其后皇帝也逐渐疏远猜忌杨素，于是下敕说：“仆射是国之宰辅，不可躬亲细务，只需三五日上朝一次，评论大事。”表面上是示以优崇，实际上是夺了他的实权。从此直到杨坚去世，杨素都不再过问尚书省的事。又外放杨约为伊州刺史。
杨素既被疏远，吏部尚书柳述权势就更大，摄理兵部尚书，参掌机密；杨素由此憎恨他。
太子问贺若弼说：“杨素、韩擒虎、史万岁都称良将，其优劣如何？”贺若弼说：“杨素是猛将，不是谋将；韩擒虎是斗将，不是领将；史万岁是骑将，不是大将。”太子说：“那么大将是谁呢？”贺若弼下拜说：“全靠殿下选择！”贺若弼的意思，他自己才算得上是大将罢了。
【华杉讲透】
权势越大，受到的猜忌越大
梁毗弹劾杨素说：“臣无有作威作福，其害于家，其凶于国。”这是《尚书·洪范》里的话。臣不可作威作福，谁可以呢？还有一句话：“惟辟作福，惟辟作威。”原意是只有君王才能独揽威权，擅行赏罚。
