Officier du KGB, principal service de renseignement de l'URSS, il est en poste à Dresde au moment de la chute du mur de Berlin. Il commence sa carrière politique à la mairie de Saint-Pétersbourg, puis devient l'un des plus proches conseillers du Président Boris Eltsine, qui fait de lui le directeur du Service fédéral de sécurité (ex-KGB) en 1998, puis le président du gouvernement de la Russie l'année suivante