Het strategische gelegen gebouw was al heel vroeg belangrijk voor de gemeente Herzele. Vermoedelijk al in de twaalfde eeuw stelden rechters er misdadigers terecht en werden er discussies uitgeklaard. Vanuit de toren declameerde een verkondiger belangrijke berichten aan het volk.
In 1778 moet het Schepenhuis dringend gerestaureerd worden. Het gebouw wordt verkocht aan de toenmalige Heer van Herzele, die o.a. voor een nieuwe toren zorgt. Daarna doet het gebouw afwisselend dienst als woning, als winkel en als herberg en dat onder verschillende bewoners en eigenaars. De gemeentelijke diensten blijven er met uitzondering van enkele jaren steeds gehuisvest.
In 1947 koopt het gemeentebestuur het op dat moment vervallen Schepenhuis voor 350.000 frank en gaat over tot grondige renovatiewerken. De twee bijgebouwtjes worden gesloopt, het dak wordt vernieuwd, de voorgevel krijgt het wapenschild van Herzele en de toren maakt plaats voor een beiaard met 28 klokken die elk kwartier een melodie voor de buurt speelt.
Na de fusie in 1977 barst het Schepenhuis uit haar voegen. De gemeentelijke diensten worden te groot en de meeste personeelsleden moeten ergens anders gehuisvest worden. Op dit moment bekijkt de gemeente verschillende mogelijkheden om het gebouw een nieuwe invulling te geven.
