Η παλαίστρα είναι προσανατολισμένη ακριβώς στα σημεία του ορίζοντα και έχει πολύ συμμετρική κάτοψη. Όπως όλες οι παλαίστρες, η παλαίστρα της Ολυμπίας είναι επικεντρωμένη γύρω από μια μεγάλη αυλή στρωμένη με άμμο, για χρήση ως επιφάνειας πυγμαχίας ή πάλης. Και οι τέσσερις πλευρές της παλαίστρας είχαν κιονοστοιχίες που δημιουργούσαν προστώα και δωμάτια[3].
Το κτίριο έχει πρόσβαση από τη νότια πλευρά με δύο ξεχωριστές εισόδους, κάθε μία με κορινθιακούς κίονες εν παραστάσι δίστυλοι, δημιουργώντας έτσι συμμετρία στο σχέδιο της κατασκευής. Οι πόρτες ανοίγουν σε διαδρόμους, επενδυμένους με πάγκους που οδηγούν σε προθαλάμους που επικοινωνούν απευθείας με το νότιο προστώο. Μεταξύ των δύο προθαλάμων υπάρχει μια μεγάλη, στενή αίθουσα επενδυμένη με παγκάκια και πρόσοψη με ιωνικούς κίονες. Αυτό το δωμάτιο έχει χαρακτηριστεί ως αποδυτήριο, ένα χώρο που θα πρέπει να είναι κοντά στην κύρια είσοδο και να έχει χώρο για τη συνάντηση των αθλητών και των φίλων. Ακριβώς απέναντι από το αποδυτήριο, κατά μήκος της βόρειας πλευράς της παλαίστρας είναι το εφηβείο ή η λέσχη[4]. Αυτή η μεγάλη, περίστυλη αίθουσα είναι βαθύτερη από ότι το αποδυτήριο, αλλά δεν τρέχει σε όλο το μήκος της αυλής. Ολόκληρη η βόρεια πλευρά της παλαίστρας έχει βαθιά δωμάτια[4], ένα χαρακτηριστικό που μνημονεύεται από τον Βιτρούβιο, τα οποία προσέφεραν καταφύγιο από τον ήλιο. Επίσης, στη βόρεια πλευρά του κτηρίου υπάρχει μια πόρτα που οδηγεί απευθείας στον υπόλοιπο της παρακείμενο χώρο του γυμναστηρίου.Το δωμάτιο στη βορειοανατολική γωνία της παλαίστρας αναγνωρίζεται ως το λουτρό. Το επενδυμένο με πλίνθους, τεσσάρων τετραγωνικών μέτρων και 1,38 μέτρα βάθους δεξαμενή που έχει ανασκαφεί εδώ χρονολογείται στη ρωμαϊκή περίοδο.
Ένα ασυνήθιστο χαρακτηριστικό της παλαίστρας είναι η 24.20Χ5,44 μέτρα ταινία του οδοστρώματος από συμπαγή κατασκευή στη βόρεια πλευρά της αυλής, η οποία διαμορφώνεται με εναλλασσόμενες ζώνες από ραβδωτά και λεία πλακίδια τοποθετημένα για να δημιουργούν συνεχείς εξάρσεις που εκτείνονται κατά μήκος του οδοστρώματος. Αυτό ήταν ίσως ένα είδος διαδρόμου ολίσθησης, όπως προτείνεται από ένα παρόμοιο διάδρομο που βρέθηκε στην Πομπηία με βαριές λίθινες σφαίρες πάνω σε αυτό.
Δεν είναι δυνατόν να πούμε με βεβαιότητα για τη χρήση των υπολοίπων δωματίων που περιέτρεχαν τα προστώα. Δεδομένου ότι στην Ολυμπία δεν υπήρχαν μόνιμοι κάτοικοι, η παλαίστρα και το γυμνάσιο δεν θα προορίζονταν ως χώροι για διαλέξεις ή για διάλογο και θα είχαν χρησιμοποιηθεί κατά κύριο λόγο από τους αθλητές στους ιερούς αγώνες. Τα λίθινα παγκάκια που βρέθηκαν σε έξι από τα δωμάτια είναι βέβαιο ότι προορίζονταν για τους αθλητές και τους θεατές. Τα δωμάτια αγνώστων στοιχείων της παλαίστρας θα περιλάμβαναν αίθουσες όπως το ελαιοθεσίο, το κονιστήριον, αίθουσες για την αποθήκευση αθλητικού εξοπλισμού, και μερικά σφαιριστήρια, τα οποία ήταν τα δωμάτια ή ανοιχτά γήπεδα για παιχνίδια με μπάλα.
Η Παλαίστρα αποκαλύφθηκε και ερευνήθηκε κατά τις νεότερες γερμανικές ανασκαφές. Από το μνημείο σώζονται μόνο τα κατώτερα τμήματα, ενώ σήμερα έχουν αναστηλωθεί οι 32 από τους 72 κίονες του εσωτερικού περιστυλίου της αυλής.