北魏军进入彭城时，垣崇祖率领部曲逃入朐山，遣使来降。萧道成任命他为朐山戍主。朐山滨海孤绝，人心不安，垣崇祖把船只集中在海边，准备有急则逃入海。北魏东徐州刺史成固公驻防圂城，垣崇祖一个部将有罪，逃亡降魏。成固公派步骑兵二万袭击朐山，离城二十里；垣崇祖正出门送客，城中人惊惧，都下船准备逃走。垣崇祖回来，对心腹说：“敌人并非有预谋，而是有叛徒招引，临时起兵前来，所以容易欺骗他们。现在只要有一百余人回到城里，就能成功。但人情一惊骇，就难再让他们集结，你们可以赶快去距此一里之外，大声呼喊：‘艾塘义民军已经破敌，需要官军火速前往，相助追击。’”
舟中人果然欢喜，争相上岸。垣崇祖带他们进城据守；又派老弱兵到岛上，每人手持两把火炬，登山鼓噪。北魏侦察骑兵以为军备甚盛，于是撤退。
皇上任命垣崇祖为北琅邪、兰陵二郡太守。
垣荣祖也是从彭城逃奔朐山，因为奉命游说薛安都失败，畏罪不敢出来，跑去投奔萧道成于淮阴。垣荣祖少年时学骑射，有人对他说：“武事可畏，何不学书！”垣荣祖说：“当年曹操父子上马横槊，下马赋诗，这样的人，可以说是不负天地之养育了。像你们这样的‘读书人’，连保护自己的力量都没有，和犬羊有什么区别！”