OΟ Καρλομάνος αποφάσισε να αποσυρθεί από την δημόσια ζωή και να κλειστεί σε μοναστήρι, πήγε στην [[Ρώμη]] στον [[Πάπας Ζαχαρίας|πάπα Ζαχαρία]], που του ζήτησε να κουρευτεί (15 Αυγούστου 747). Οι πηγές της περιόδου λένε ότι παραιτήθηκε ''"εθελοντικά"'', πήγε όμως στην [[Ρώμη]] για αδιευκρίνιστους λόγους, εκεί του ζήτησε ο πάπας ύστερα από αίτημα του αδελφού του Πεπίνου να παραμείνει, τελικά τον έπεισε.<ref>Fouracre, σ. 16</ref> Ζήτησε για τον γιο του [[Ντρόγκο ο μαγιορδόμος|Ντρόγκο]] από τον αδελφό του το δικό του μερίδιο αλλά ο Πεπίνος αρνήθηκε.<ref>Riche, Pierre, The Carolingians, σ. 59</ref> Στη συνέχεια αποσύρθηκε στο μοναστήρι του Μόντε Κασίνο. Την ίδια εποχή ο ετεροθαλής αδελφός τους Γκρίφο δραπέτευσε από την φυλακή κατέφυγε στην [[Βαυαρία]],προκειμένου να υποστηρίξει τον θείο του Οντίλο, αλλά ο Οντίλο πέθανε την επόμενη χρονιά και ο Γκρίφο επιχείρησε να κυριεύσει το δουκάτο της Βαυαρίας για λογαριασμό του. Τελικά ηττήθηκε και σκοτώθηκε στην μάχη του Σαιν-Ζαν-ντε-Μωριέν (753). Εφτά χρόνια αργότερα ο [[Πάπας Στέφανος Β΄]] κάλεσε τον Πεπίνο που είχε γίνει βασιλιάς να τον βοηθήσει στην μάχη εναντίον του βασιλιά των [[Λομβαρδοί|Λομβαρδών]] [[Άιστουλφ]]. Ο Καρλομάν βγήκε από το μοναστήρι και έτρεξε να τον συναντήσει, πιθανότατα ήθελε να υποστηρίξει τον γιο του Ντρόγκο.<ref>Fouracre, σ. 17</ref> Ο Πεπίνος καχύποπτος για τον Ντρόγκο φυλάκισε τον Καρλομάν στη Γαλλική [[Βιέν (Ιζέρ)|Βιέν]] όπου και πέθανε.
