Wcześniejszy kościół spłonął 24 maja 1934 r. Uratowano przykrycie ołtarza i krzyż metalowy z wieży. Na tym miejscu oddano do użytku w 1936 r. kościół murowany z cegły, na planie prostokąta z kwadratową drewnianą wieżą od zachodu. W 1945 r. kilka miesięcy kościół służył jako obora dla krów wojsk radzieckich. Zniszczono wtedy część dachu, ołtarz i organy. Mieszkańcy Kobylanki sami naprawili dach i zrobili prowizoryczny ołtarz, w którym znalazł się obraz patrona.