Chalmé speelde in de jeugd voor Girondins Bordeaux en Libourne. Op 21-jarige leeftijd tekende hij een profcontract bij Lille OSC. In vijf seizoenen speelde hij 128 competitiewedstrijden voor de Noord-Franse club. In juli 2007 werd hij voor anderhalf miljoen euro getransfereerd naar Girondins Bordeaux. In 2009 werd hij met Bordeaux landskampioen. In 2013 won hij met Bordeaux de Coupe de France. In januari 2013 werd hij wegens een gebrek aan speelminuten voor zes maanden uitgeleend aan AC Ajaccio.