El templo parroquial de San Mateo se levanta en pleno centro del casco antiguo, en las cercanías de la desaparecida puerta del Retiro, sobre la orilla sur del antiguo cauce del río que cruzaba la ciudad, en una calle que recibe el popular nombre de La Calzada, lugar de paseo y esparcimiento de los ciudadanos tarifeños desde época muy antigua.

De estilo gótico y proporciones monumentales, comienza a construirse en el siglo XVI bajo los auspicios del primer marqués de Tarifa. La portada, del siglo XVII, es obra de Torcuato Cayón. El interior consta de tres naves con bóvedas de crucería y alberga obras de gran valor artístico.