1975 folgte Pater Kaiser der Einladung von Kardinal König nach Wien, um die Pfarrseelsorge zu unterstützen. Nach dem Tod von Prälat Gstaltmeyr im Jahr 1981 wurde er zum Pfarrer von Rudolfsheim ernannt und diente dort mit Hingabe drei Jahre lang.
Später widmete er sich der Seelsorge in Niederösterreich, wo er von 1992 bis 2012 als Pfarrer in Wolfpassing an der Hochleithen und Traunfeld tätig war. Im August 2012 trat er in den wohlverdienten Ruhestand, kehrte zu seinem Orden zurück und zog schließlich wieder in seine Heimat.
