Il commença sa carrière au 3e régiment de Gardes à Pied en 1907 et combattit sur les fronts est et ouest au cours de la Première Guerre mondiale. En 1938, il était adjoint au chef d'état-major général mais fut envoyé commander une division après le limogeage de Fritsch. Il fut chef d'état-major du Groupe d'Armée A de Runstedt durant la campagne polonaise et, tout en servant à ce poste dans l'ouest, il mit au point le plan d'invasion de la France qui fut préféré à celui de l'OKH.

Commandant d'un corps d'armée au cours de la campagne de 1940, il fut à la tête d'un corps d'armée au cours de l'invasion de l'URSS en 1941 et prit la Crimée avec la Onzième armée, obtenant son bâton de maréchal après la chute de Sébastopol. Affecté à Leningrad, il retourna ensuite dans le sud pour commander le Groupe d'Armées du Don et plus tard le Groupe d'Armées du Sud. Son plan pour le dégagement de Stalingrad aurait pu réussir s'il avait été mieux soutenu et, après la chute de la ville, il stabilisa la situation en battant les Soviétiques à Kharkov, en février 1943.
Il appuya l'offensive de Koursk et resta au commandement du Groupe d'Armées du Sud après son échec, livrant des combats de repli avec son habileté coutumière.

Limogé par Hitler en mars 1944, il ne reçut plus d'autre commandement.