Dit kasteel, in het hart van Bourgondië, was een geschenk van Philippe le Hardi, hertog van Bourgondië, aan zijn vrouw Marguerite de Flandre. Met een aantal grote kunstenaars uit die tijd, toverde zij het gebouw aan het eind van de 14e eeuw om tot een luxueus verblijf.
Het domein van Germolles was in de 13e eeuw het bezit van de “seigneurs” (heren) van Germolles. Waarschijnlijk was het kasteel op dat moment niet veel meer dan een verstevigd huis of een fort. De laagst gelegen kapel, de kelder, en waarschijnlijk ook de ingang met de beide ronde torens dateren nog uit die tijd.
In 1380 kwam het domein in handen van de hertog die het aan zijn vrouw schonk. De hertogin besloot het sobere en ouderwetse fort te veranderen in een plattelandspaleis. Het was een kostbaar project dat zo’n tien jaar in beslag nam.