Charlieu ontwikkelde zich vanaf de 10e eeuw aan de oostzijde van een abdij die de inwoners bescherming bood en een belangrijke stempel drukte op de geschiedenis van het stadje. Van de oorspronkelijke middeleeuwse stadskern is nog veel te zien.
De abdij van Charlieu werd in 875 gesticht door Benedictijner monniken uit Tourraine en kreeg de naam Carus Locus, in het Frans Cher Lieu (geliefde plek). Rond 930 vertrouwde de paus dit klooster toe aan Cluny. Ruim een eeuw later werd het een priorij; niet langer geleid door een abt maar door een prior die verantwoording moest afleggen aan de abt van Cluny. Na de sluiting in 1787 werd de bibliotheek geplunderd en ging het archief verloren. De religieuze gebouwen in Frankrijk kwamen in handen van de staat. Een groot deel werd afgebroken en de stenen werden elders hergebruikt. Van de abdij van Charlieu, een Romaanse meesterwerk, staan nog enkele delen overeind.
Charlieu lag destijds op een kruispunt van belangrijke routes tussen Parijs en Lyon, en tussen de Loire en de Saône. Tot het begin van de 16e eeuw was er een levendige handel. Veel gotische gebouwen getuigen nog altijd van die bloeiperiode. De banden tussen het klooster en de stad waren zeer nauw, aangezien de priors tevens fungeerden als de Seigneurs van Charlieu. De monniken hebben bijvoorbeeld het Hôtel-Dieu opgezet voor de verzorging van zieken en armen. Pas in de 18e eeuw kregen de stadsbewoners autonomie.
Charlieu was één van de eerste gemeenten in Frankrijk met een Hôtel-Dieu. De koning had hiervoor in 1259 een concessie gegeven. De oude ziekenzaal, de apotheek, de operatiekamer en de linnenkamer zijn te bezichtigen. Tot het eind van de 18e eeuw beperkte de zorg zich, door een gebrek aan medische kennis, vooral tot liefdadigheid voor armen, wezen en bejaarden. Een monnik was verantwoordelijk voor de verdeling van voedsel en kleding. Ziekten werden gezien als een straf voor zonden en pijn als een middel voor spirituele groei. Na pestepidemieën raakte het Hôtel-Dieu in de 16e en 17e eeuw in verval, maar in 1680 werd het weer herbouwd. Zusters van de Sainte-Marthe congregatie namen de zorgverlening op zich. In 1981 werd het Hôtel-Dieu gesloten en werd elders in Charlieu een nieuw ziekenhuis geopend.
Onder hetzelfde dak als het Hôtel-Dieu is ook het zijdemuseum gevestigd. Al in de 13e eeuw werd er in Charlieu gehandeld in hennep. De lokale wevers verwierven een uitstekende reputatie waardoor het maken van hennepstoffen uitgroeide tot de voornaamste economische activiteit van deze plaats. Tegen de 18e eeuw werd de hennep verdrongen door katoen en in 1823 werden de eerste zijdeweverijen ingericht. De textielindustrie bracht welvaart. Vanaf de eerste wereldoorlog ging het echter bergafwaarts met de weverijen en in de jaren ’70 moesten de meesten sluiten. Desondanks wordt nog elk jaar, op de tweede zaterdag van september, het feest van het weversgilde gevierd met een kleurrijke processie ter ere van Notre-Dame de Septembre, de beschermheilige van het gilde.
Middenin het oude centrum staat de Philibert parochiekerk die in de 13e eeuw werd gebouwd in Bourgondisch-gotische stijl. Dat was een periode waarin de bevolking groeide en er meer conflicten ontstonden tussen de burgers en de benedictijnen. Bijzonder in deze kerk zijn de beschilderde houten koorbanken uit de 15e eeuw waarop heiligen en apostelen zijn afgebeeld. De huidige gevel werd tussen 1920 en 1930 voltooid.
In Saint-Nizier-sous-Charlieu, op loopafstand van de beroemde priorij, is nog meer religieus erfgoed te bezichtigen. Net buiten de stadsmuren van Charlieu stichtten de Franciscanen in 1280 een convent, het Couvent des Cordeliers. Het behoort tot de weinig middeleeuwse Franciscaner bouwwerken die Frankrijk nog heeft. Dit convent werd in 1792 gesloten. Te bezoeken zijn nog de kloostergang met mooi versierde kapitelen; de kerk uit de 14e eeuw met een eikenhouten dak en muurschilderingen die tussen de 14e en 16e
eeuw zijn gemaakt; en de voormalige bibliotheek.