Etter år som kapellan i Bergen, sjømannsprest i Cardiff og frå 1895 styrar ved Notodden lærarskule vart han i 1903 lærar og professor ved Det praktisk-teologiske seminar, og 19081911 medlem av Kyrkjekommisjonen. I 1913 vart han kalla til biskop i Kristiansand, der han verka til 1930. Med sin friske og folkelege stil var han svært omtykt.
Støylen var sterkt engasjert i fråhaldssak og misjon og arbeidde for ei fri folkekyrkje. Han var ingen radikal teolog, men fekk ei sentral rolle i den såkalla ordinasjonsstriden i 1923, då han tok på seg å vigsle den liberale Jens Gleditsch som biskop. Indremisjonen, med professor Ole Hallesby og sokneprest Johan M. Wisløff i spissen, sette i gang boikott av Støylen, noko han livet ut opplevde som urettvist.
