Po dziesięciu latach pracy w Tomaszowie Mazowieckim ks. Kazimierz zamienił się z ks. Stanisławem Suchańskim (również przyszłym Męczennikiem Dachau) na wspomniane wyżej
probostwo w Górze św. Małgorzaty. W dokumentach zaznaczono, że został administratorem nowej parafii. Pobyt na probostwie w Górze św. Małgorzaty nie trwał długo. Dnia 29 grudnia 1930 r. kuria łódzka wysłała do ks. kanonika Szymańskiego pismo tej treści: „Zechce Ks. Kanonik przybyć do Kurii w pierwszych dniach po Nowym Roku”. Kilka dni później, 10 stycznia 1931 r., ks. Szymański napisał: „Do Jego Ekscelencji Księdza Biskupa Diecezji Łódzkiej. Uprzejmie proszę o zwolnienie mnie ze stanowiska administratora parafii Góra św. Małgorzaty i powierzenie mi stanowiska wikariusza”. Zastanawiające jest, co skłoniło ks. Kazimierza do złożenia rezygnacji z zajmowanego stanowiska. Należy tu postawić jeszcze jedno pytanie, dlaczego kilka miesięcy wcześniej zrezygnował z funkcji proboszcza i dziekana tomaszowskiego. Wskazano przecież, że ta parafia była dla niego nobilitacją. Przeglądając jego akta osobowe, można dojść do przekonania, że zmusiły go do tego kwestie ekonomiczne.
Władza duchowna przeniosła go na wikariat do parafii św. Krzyża w Łodzi, a po dziesięciu miesiącach na to samo stanowisko do parafii Wniebowzięcia NMP Oprócz zwykłych wikariuszowskich zajęć, kuria zlecała mu dodatkowe, między innymi przeprowadzanie rekolekcji dla specjalnych grup, katechizację w gimnazjach i szkołach średnich, funkcję spowiednika sióstr przy szpitalu św. Józefa w Łodzi.
Z 1933 r. pochodzą dwa dokumenty z jednakową datą, jeden sygnowany przez kurię biskupią, a drugi przez ks. Szymańskiego. Ksiądz Kazimierz złożył swoistą przysięgę sumienności i wierności, napisał bowiem: „[…] przyrzekam, że na powierzone mi stanowisko nie będę zaciągał żadnych długów na jakiekolwiek cele kościelne, społeczne, czy osobiste bez uprzedniej wiedzy i zgody Władzy Diecezjalnej. Jednocześnie zobowiązuję się nie brać udziału w przeciągających się zbytnio zebraniach towarzyskich. Zobowiązania powyższe składam na ręce Jego Ekscelencji Księdza Biskupa Ordynariusza Diecezji Łódzkiej i oświadczam, że świadom jestem, iż dochowanie tych przyrzeczeń obowiązuje mnie pod groźbą wyciągnięcia konsekwencji prawnych”.
Drugie pismo to dekret kurii, związany z nominacją ks. Kazimierza na stanowisko rektora kościoła w Leśmierzu w parafii Góra św. Małgorzaty.
Rektorat w Leśmierzu był ostatnią placówką ks. Szymańskiego.