Το κάστρο της Καλύβας βρίσκεται κοντά στο χωριό Καλύβα το οποίο έχει οπτική επαφή στα στενά του Νέστου. Πιθανολογείται πως χτίστηκε από τον Φίλιππο Β. Η στρατηγική του θέση επέτρεπε τον έλεγχο των περασμάτων από τη Θράκη προς τη Μακεδονία. Αν και σήμερα σώζονται μόνο ερείπια, η θέα από τα τείχη του προς τον κάμπο της Ξάνθης και τα βουνά της Ροδόπης είναι εντυπωσιακή. Η πρόσβαση στο κάστρο γίνεται μέσω μονοπατιών που διασχίζουν πανέμορφα δάση, προσφέροντας μια ευκαιρία για πεζοπορία μέσα στη φύση.