Jen málo měst a obcí zná přesné období svého založení a v tomto případě je to podobné. Nejstarší datovaná zpráva o Vysokém Chlumci je z roku 1234. Z roku 1250 pak pochází zmínka o osadníkovi Vintíři, díky čemuž lze předpokládat, že v jejich době tu mohlo stát menší panské obydlí.
Samotné hradní sídlo vystavěl nejspíše Purkart Strnad z Janovic v polovině 14. století. Pod hradem vznikly dvě osady, jedné se říkalo Chlumec, druhé pak Víska. Chlumec býval už před třicetiletou válkou městečkem nebo městysem. V soupisu z roku 1617 se ale uvádí pouze "městečko pod zámkem". Historie obce byla až do poloviny 19. století spjata s historií hradu.
Armády si nebraly servítky
I když se veškerá bojiště třicetileté války nalézala daleko od chlumeckého kraje, ani tak to obyvatele neušetřilo útrap. Armády tu přešly několikrát a nechávaly po sobě spoušť. Vojáci vypalovali stavení i celé vesnice, zabili mnoho obyvatel a nadělali škody na majetku i zvířatech.
Panství vzkvétalo nebo upadalo v závislosti na schopnostech majitelů. Jedním z nich byl v roce 1739 Ferdinand Filip z Lobkowicz. Ten se o svůj majetek nestaral a dal tak příležitost knížecím správcům k hospodaření ve svůj prospěch. Tehdejší období tak bylo velmi napjaté a dokonce se odehrály i bouře. Vše se zlepšilo až v době, kdy byl jmenován administrátorem všech panství jeho synovec August.
Zrušení šlechtických titulů
K tomu došlo se vznikem Československa v roce 1918. Během protektorátu zabavili lobkowický majetek němečtí nacisté, po druhé světové válce ale došlo k jeho částečnému navrácení, nicméně v roce 1948 byl veškerý majetek opět vyvlastněn.
Poválečná historie se datuje až na poslední dny války. Po osvobození se do obce začali vracet lidé, kteří byli násilně vyhnáni. Počátkem roku 1948 byla provedena i pozemková reforma zdejšího velkostatku. Tamní hrad byl převeden do péče státu, pivovar byl zestátněn a místo bývalé lesní správy bylo zřízeno ředitelství státních lesů. Obec tak začala konec vzkvétat.
Hrad, skanzen a pivovar
Tamní zachovalý komplex hradu Vysoký Chlumec je tvořen z pozdně středověkých budov na skalnatém návrší nad obcí a je výraznou dominantou. Raně gotické jádro ze 13. století bylo do dnešní podoby rozšířeno za Purkarta z Janovic koncem 14. století a upraveno za Václava Leopolda z Lobkovic v polovině 17. století. Hrad tvoří věžovitý západní palác, zčásti s renesančními sgrafity, a menší gotický východní palác s kaplí, mezi nimiž je lichoběžníkové nádvoří. Celek je obklopen parkánem a hradbou.
Atraktivním místem je také skanzen, jehož projekt byl zpracován v roce 1998 Okresním muzeem v Příbrami a dnes je pobočkou Hornického muzea Příbram. Jsou do něj postupně přemisťovány zajímavé stavby lidové architektury středního Povltaví, kterým by v původních místech hrozil zánik. V konečné fázi má být ve skanzenu až 25 historických budov.
Městys disponuje také svým pivovarem. O prvním vaření piva se na Chlumci mluvilo už od roku 1466. Knížecí pivovar patří šlechtickému rodu Lobkowiczů, přičemž ti v roce 2005 prodali poloviční podíl německému partnerovi. Dnes se tu pivo vyrábí v pěti druzích pod značkou Lobkowicz.
