Τα τείχη, που διατηρούνται σε μήκος άνω των 1000 μέτρων, ενισχύονταν στο ευπρόσβλητο τμήμα τους με εξωτερικό προτείχισμα, ενώ στο πλάτωμα του λόφου υψωνόταν η απόρθητη ακρόπολη. Το αμυντικό σύστημα ισχυροποιούνταν από 26 στρογγυλούς, πολυγωνικούς ή ορθογωνικούς πύργους, από τους οποίους σώζονται οι 24. Από την οχύρωση διακρίνονται διαδοχικές κατασκευαστικές φάσεις, οι οποίες ακολουθούν την αρχική, παλαιοχριστιανική όδευση και βάση.

Τα μέτωπα κάποιων από τους πύργους κοσμούνται από μονογράμματα, που μπορούν να αποδοθούν σε αξιωματούχους ή και αυτοκράτορες που ενίσχυσαν την άμυνα της πόλης, όπως τον Ανδρόνικο Γ΄ Παλαιολόγο και τον Ιωάννη ΣΤ΄ Καντακουζηνό. Άλλοι φέρουν κεραμοπλαστικά κοσμήματα με ευχετηριακό ή αποτροπαϊκό περιεχόμενο, όπως το δένδρο της ζωής ή το σταυρό, ενώ επί ορθογωνικού πύργου διατηρείται τμήμα επιγραφής, «ΚΟΜΝΗΝΟΣ».    

Ο κυκλικός σε κάτοψη, γωνιαίος «πύργος της Βασιλοπούλας» φέρει εντοιχισμένη πλάκα με μονόγραμμα «Ταρχανειώτης», που πιθανώς παραπέμπει στον Καντακουζηνό. Ο πύργος συνδέεται με το θρύλο της αυτοκτονίας της κόρης του αυτοκράτορα, όταν άθελά της έγινε αφορμή της κατάληψης του απόρθητου φρουρίου από τους Τούρκους.

Ο πύργος του Πενταζώνου κατέχει τη βορειοανατολική γωνία της οχύρωσης, χαμηλά, δίπλα στον Ερυθροπόταμο. Το εσωτερικό του καταλαμβάνει μεγάλη δεξαμενή, που καλύπτεται με χαμηλωμένο θόλο και επικοινωνούσε με τον ποταμό, συνεισφέροντας στην υδροδότηση του κάστρου.

Από τις φρουριακές πύλες ξεχωρίζουν οι τριπλές «Νερόπορτες» ή «Πύλες της Γέφυρας», δίπλα στο ποτάμι. Το εσωτερικό άνοιγμα δορυφορείται από δύο πενταγωνικούς πύργους των παλαιοχριστιανικών χρόνων, ενώ μπροστά τους αναπτύσσονται οι εντυπωσιακές, πρώιμες οθωμανικές εξωτερικές πύλες, με το μανδύα που τις συνδέει με το κυρίως τείχος. Τρίτη, μικρότερη, εξωτερική πύλη ανήκε στο προτείχισμα.

Οι «Σαραϊόπορτες», που οδηγούσαν προς τα ανάκτορα, στην κορυφή του λόφου, σώζουν το άνοιγμα της εισόδου. Ανασκαφικές εργασίες κατά τη δεκαετία του ’80 διευκρίνισαν τη μορφή τους. Από τις «Πύλες της Αγοράς» διατηρούνται οι εκατέρωθεν πύργοι, ενώ γειτονικό μεταβυζαντινό άνοιγμα παραμένει η κύρια είσοδος προς το κάστρο. Σώζονται, ακόμη, βοηθητικές πυλίδες, ενώ τα ερείπια της ακρόπολης είναι θαμμένα κάτω από βαθιές επιχώσεις. Στο ανώτερο τμήμα της τελευταίας, στη θέση των ανακτόρων, επιχωσμένη είσοδος οδηγεί προς συνεχόμενους καμαροσκέπαστους θαλάμους, τις «Σαράντα Κάμαρες». Αυτές, σύμφωνα με την προφορική παράδοση, αλλά και αναφορά του ταγματάρχη του Ρωσικού στρατού G.Εneholm, στα 1829, φθάνουν ως στη βάση του λόφου, στο σπήλαιο «Καγιάλι», παρότι δοξασίες προκρίνουν άλλες, απομακρυσμένες θέσεις.        

Οι εκατοντάδες των υπόσκαφων λαξευμάτων του Καλέ διαμορφώθηκαν από τους κατοίκους του βυζαντινού Διδυμοτείχου ως βοηθητικοί χώροι, δεξαμενές, στάβλοι, αποθήκες για την τοποθέτηση μεγάλων πίθων κ.λπ. Στη συνέχεια εξυπηρέτησαν χρήσεις, όπως φυλακές επωνύμων, από το δεσπότη της Θεσσαλονίκης Κωνσταντίνο Παλαιολόγο και τα μέλη της βασιλικής οικογένειας της Σερβίας, Βrankovic, μέχρι αξιωματικούς του Ναπολέοντα και το σφαγέα της Νάουσας, Λουμπούτ πασά, αλλά, ακόμη και ως καταφύγια για πρόσφυγες πολέμου.