Il succéda à son jeune demi-frere Isma'il a la tete de Ghazna en 997, apres une breve guerre de succession consécutive a la mort de leur père Sabuktigin.
En 1001, il s'interessa a l'Inde. Impressionné par la richesse et la vulnerabilité de ce pays, Mahmoud annexa la presque totalite du Panjab, et entreprit à l'intérieur de l'Inde des raids importants à la faveur desquels il construisit un vaste empire, englobant la totalité de l'Afghanistan moderne et le Pakistan, l'Iran oriental, et une grande partie de I'Asie centrale soviétique.

II entretint une armée permanente de plus de 54 000 cavaliers et 1 300 éléphants caparaçonnés (une arme qu'il réintroduisit dans la guerre en Asie centrale) ainsi qu'une compagnie méhariste d'infanterie montée. Il recruta ses soldats parmi tous ses sujets, y compris dans l'Hindus, afin de stimuler la rivalité militaire dans la bataille et décourager les coalitions contre lui.

Sans attaches territoriales, les troupes étaient davantage prêtes à lever les impôts nécessaires au paiement de leurs soldes.
La nature cupide de ses collecteurs d'impôts contribua passablement à la réputation d'avarice de leur employeur, le sultan Mahmoud faisant oublier ses nombreuses qualités.

Général habile et courageux en temps de guerre, c'était un gouverneur sage et avisé en temps de paix.