Schaefer, o extremă stângă, a marcat 15 goluri în 39 de meciuri pentru naționala RFG, între 1952 și 1962. Schaefer a fost căpitanul echipei la Mondialele din 1958 și 1962. El a contribuit decisiv la golul înscris de Helmut Rahn în finala Mondialului din 1954, câștigată cu 3-2 în fața Ungariei, care era mare favorită, conform Agerpres.
Schaefer a evoluat între 1948 și 1965 pentru FC Koln, cu care a fost de două ori campion al Germaniei, în 1962 și 1964, ultimul titlu fiind cucerit în primul sezon după înființarea Bundesligii.