Seit vereinigte man zwei Gebäudeteile, den östlichen, etwas höheren Bau bis dahin schon als Rathaus genutzt und den westlich davon gelegenen Teil die sogenannte Rathauskapelle zu dem prachtvollen Gebäude. Beachtenswert sind auch die Tür- und Fenstergewände sowie die kunstvoll gearbeiteten Giebel der Ost- und Südseite.
Rechts neben der Freitreppe hängt über einer Spitzbogentür die steinerne Kröte, auf einem Brotlaib sitzend. Von den ehemals siebzehn Verkaufslauben, die beiderseits angeordnet waren, sind noch neun erhalten. Dieses Zeugnis der Volkskunde aus dem Jahr ist in Europa einmalig und wurde im Jahr saniert. Die Anlage wurde vor mehr als fünfhundert Jahren zu dem Zwecke geschaffen, dass die Fleischer nur dort und unter Aufsicht eines vom Rat beauftragten Fleischaufsehers Fleisch verkaufen durften.
Es wurde streng darüber gewacht, dass die Preise nicht unter- oder überboten wurden, dass die hygienischen Bestimmungen eingehalten und dass die Qualität des Fleisches den Anforderungen entsprach. In dem im Kern mindestens auf das Jahrhundert zurückgehenden Gebäude soll Martin Luther bei seinen Aufenthalten in Neustadt gewohnt haben.
So zumindest wurde es in den er Jahren von der Stadt verbreitet, um Besucher anzulocken. Nach heutigem Wissensstand übernachtete Luther zwar in Neustadt, für einen Aufenthalt im Lutherhaus jedoch fehlen jegliche Belege.
Mit seinem steilen Dach und dem schönen Erker beherrscht das Lutherhaus optisch die Ostseite des Marktes. Neben der Klosterkirche beginnt der Stadtpark, dessen Zugang ein Herkulesbrunnen ziert. Der Weg führt entlang der alten Stadtmauer bis zum Rest eines Wehrturmes.
