Zijn loopbaan startte Boumsong bij Le Havre, voordat hij naar AJ Auxerre verhuisde. In 2004 haalde coach Alex McLeish hem naar zijn club Glasgow Rangers waar Boumsong tekende voor vijf jaar. Halverwege het seizoen 2004/2005 deed Newcastle United een bod van €14 miljoen op de Fransman, Rangers accepteerde dit bedrag waardoor Boumsong in januari 2005 ging spelen in de Premier League. Bij 'The Magpies' tekende hij voor 5 1/2 jaar. De fans van Newcastle twijfelden echter of Boumsong wel zoveel geld waard is. In 2006 maakte hij voor minder dan de helft van dat bedrag (€4,8 miljoen) de overstap naar het gedegradeerde Juventus. In de winter van 2008 verliet hij Juventus voor de Franse landskampioen Olympique Lyonnais.