Najokazalszym zabytkiem Rethymnonu jest Forteca znajdująca się w północnej części miasta. Ta potężna budowla, o obwodzie prawie 1400 m, uchodzi za największą twierdzę jaką kiedykolwiek zbudowali Wenecjanie. Powstała w XVI w. w celu obrony przed piratami.
Była to budowla samowystarczalna, z siedzibą gubernatora, kosza-rami, magazynami amunicji i żywności, kaplicą (katolicką) czy nawet szpitalem. Mogła się w niej schronić cała ludność miasta. Niestety Forteca nie przetrwała długo - została zdobyta w 1645r.
W czasie okupacji tureckiej zbudowano na jej terenie meczet, który niedawno został odrestaurowany. Najbardziej imponujące są jednak potężne mury umocnione czterem bastionami, które zachowały się prawie w całości. Z murów tych rozciąga się wspaniały widok na miasto i wybrzeże.