Bár a műemlékjegyzék csak "Herpályi toronyromként" nevezi meg, a ma látható maradványok egy 12. század második felében alapított kolostortemplom maradványai. Az épületet - amely a legrégebbi álló maradvány a megyében - ma már csak romjában látható formájára a 13-14. század fordulóján emelték. A 17. század közepén kezdett el pusztulni, a hozzá tartozó Herpály település is ekkor szűnt meg. Az életveszélyesen megdőlt északi tornyát 1842-ben bontották le, azóta csak a déli emlékeztet az épület falainak csekély maradványaival az egykori templomra.