Nemovitost byla postavena v roce 1703 architektem Williamem Windem, původně jako velký městský dům pro Johna Sheffielda, prvního vévodu z Buckinghamu. Dostal název Buckinghamský dům. V roce 1761 jej koupil král Jiří III. jako soukromou rezidenci pro svou manželku, královnu Charlotte, a byl přejmenován na The Queen’s House. Když královna Viktorie v roce 1837 nastoupila na trůn, učinila z Buckinghamského paláce své oficiální sídlo a byla prvním panovníkem, který tam kdy pobýval.
