Polgárháború
Buckinghamnek bonyolult volt a korai élete. A második angol polgárháború (1648-1649) idején Buckingham a royalisták oldalára állt, és csatlakozott II. Károly franciaországi száműzött udvarához, bár 1651-ben összevesztek a királlyal.
A viszony továbbra is kellemetlen maradt, és Buckingham 1657-ben visszatért Angliába, azonban 1660-ban támogatta a monarchia visszaállítását, és kereste a király kegyeit, sikerrel szerezve olyan hivatalokat, mint a West Riding-i hadnagyi rang.
Kapcsolatuknak továbbra is voltak hullámvölgyei, Buckingham rövid időt töltött a londoni Towerben.
Politikai csúcspont
Amikor 1667-ben elbocsátották a király főminiszterét, a sokat szenvedett Clarendon grófot, Buckingham a csúcsra emelkedett. Befolyásos tanácsadó lett, aki fontos bizottságokban foglalt helyet.
A kabinetminisztérium
Buckingham volt az egyik kulcsminiszter több olyan miniszter között, akik a kabinetminisztérium néven váltak ismertté. Ez nemcsak nevük (Clifford, Arlington, Buckingham, Ashley-Cooper és Lauderdale) rövidítése volt, hanem – különösen a politikai szatirikusok kezében – árnyékos politikai intrikákat is idézett.
A kifejezés arra utal, hogy az öt férfi együtt dolgozott, ez azonban nem így volt.
Botrány és titkolózás
Az 1670-ben Anglia és Franciaország között aláírt titkos doveri szerződés tartalmazott egy záradékot, amelyben II. Károly kötelezte magát, hogy áttér a katolikus hitre. A Cabal három tagja, köztük Buckingham, nem tudott erről a szerződésről, és nem voltak boldogok, amikor megtudták.
1674 januárjára az egyre inkább botrányokba keveredő Buckinghamet elbocsátották, és politikai ellenzékbe szorították.
Buckingham és Cliveden
Buckingham élete hátralévő részében sok bajt okozott, és 1677-ben ismét a Towerbe került. A bebörtönzés egy pontján engedélyt kapott, hogy elhagyja a Towert, hogy Clivedenben irányítsa a munkálatokat, ahol új házat épített.
Ez nem sokkal később elkészült, és John Evelyn 1679-ben “rendkívüli költségű épületként” jellemezte. Buckingham 1687-ben örökös nélkül halt meg, Clivedent pedig 1696-ban eladták Orkney grófjának.