Το συγκρότημα του Χαλίλ Μπέη βρίσκεται στη μέση της χερσονήσου κοντά στο φρούριο και περιλαμβάνει το τζαμί του Χαλίλ Μπέη και τμήμα του μεντρεσέ (ιεροδιδασκαλείο). Το σωζόμενο τζαμί του Χαλίλ Μπέη, ένα τετράγωνο κτήριο με τρούλο και εξωνάρθηκα, κτίστηκε στα 1900 στη θέση παλιότερου τεμένους του 16ου αιώνα. Στην ίδια θέση υπήρχε τρίκλιτος χριστιανικός ναός που μετατράπηκε σε μουσουλμανικό τέμενος. Τα θεμέλια του ναού είναι ορατά από το γυάλινο δάπεδο που υπάρχει στο τζαμί. Κατά τη δεκαετία του 1930 στο τζαμί στεγάστηκε η Φιλαρμονική του Δήμου γι’ αυτό το μνημείο είναι γνωστό ως «Παλιά Μουσική». Μετά την αποκατάστασή του, το τζαμί στεγάζει πολιτιστικές δραστηριότητες του Δήμου. Το διπλανό κομψό κτήριο του ιεροδιδασκαλείου, που κτίστηκε στη θέση παλιότερου κτηρίου του 17ου αιώνα, διαθέτει οχτώ δωμάτια, ενώ η πρόσοψή του κλείνει με περιστύλιο με ξύλινη τοξοστοιχία. Στον μεντρεσέ φιλοξενούνται λαογραφικές συλλογές και ο πολιτιστικός σύλλογος της «Παναγίας».