Ο Μεγάλος Μάγιστρος Φαμπρίτσιο ντελ Καρέτο φέρεται να επισκεύασε το Κάστρο της Κρεμαστής στη δεκαετία του 1510 – 1520, αφού αυτό υπήρχε ήδη κατά το 14ο αι. και αξιοποιήθηκε από τους εκάστοτε Μεγάλους Μαγίστρους ως τόπος θερινής κατοικίας. Κατά τη διάρκεια της Ιπποτοκρατίας, αλλά και αργότερα κατά την Τουρκοκρατία, το Κάστρο υπήρξε καταφύγιο για τους Κρεμαστενούς και τις οικογένειές τους.
Σήμερα διατηρούνται δυο θολωτά δωμάτια στην πύλη του φρουρίου, διακρίνονται τα εξωτερικά τείχη του και η Μονή του Αγίου Νικολάου, η οποία χτίστηκε αργότερα.
