Kaltenborn ist eines der älteren unserer Ortsteile. Bereits 1215  erscheint es unter dem Namen „Caldiuborne“. Kirchlich musste es mehrmals einen Wandel durchlaufen. Einst gehörte es zum Kirchenspiel Altleisnig, doch mit dem Bau des Pfarramtes in Zschirla wurde es diesem unterstellt. Das große Pferdnergut gehörte bis 1595 dem Junker Hans von Altmannshofen. Es ist jedoch auch vom Kanzler der Kurfürstin Sophie, Benedikt Carpzov, viele Jahre bewirtschaftet worden, der den Vorteil genoss, keine Abgaben dafür an die KFin zahlen zu müssen. Nach ihrem Tod 1626 ging es an den Wildmeister Kaspar Hütter über.1705 errichtete man eine Schule, deren Baukosten sich auf 78 Taler, 21 Groschen und 9 Pfennige beliefen. Auch sie wurde Opfer der Zusammenlegung mit der Schule Hausdorf. Sowohl im 30jährigen, als auch im napoleonischen Krieg zogen plündernde Truppen durch Kaltenborn, nahmen alles mit, dessen sie habhaft werden konnten. Heute werden die landwirtschaftlichen Betriebe nur noch im Nebenerwerb bewirtschaftet oder sind zu Wohnzwecken umfunktioniert worden. Auch der Gasthof ist längst als solcher nicht mehr in Betrieb.