Stumpf begon zijn profcarrière bij UN Käerjeng 97, waarmee hij drie seizoenen in de Nationaldivisioun speelde. In 2015 degradeerde hij met zijn club naar de Éirepromotioun. Na één seizoen stapte hij over naar reeksgenoot US Hostert, waarmee hij in 2017 terugkeerde naar de Nationaldivisioun. Een jaar later bereikte hij met de club ook de bekerfinale. Stumpf werd tijdens de bekerfinale na 75 minuten vervangen vanwege een blessure. Hostert verloor uiteindelijk na strafschoppen van Racing FC Union Luxemburg.
In 2019 maakte Stumpf de overstap naar landskampioen F91 Dudelange.