V roce 1541 zničil požár na Hradčanech čtyři středověké domy, které stály na místě dnešního paláce. V jednom z nich měl ve 14. století dílnu Mistr Theodorik, dvorní malíř Karla IV. Pozemky pak koupil Jan IV. Popel z Lobkowicz a vybudoval na nich renesanční rezidenci v severoitalském stylu, která byla dokončena v roce 1567. Palác v následujících dekádách několikrát změnil majitele a až na počátku 18. století připadl dědictvím rodu Schwarzenbergů.

V letech 1870–1874 získal svoji ikonickou sgrafitovou výzdobou podle návrhu Josefa Schulze. V roce 1909 byl zpřístupněn veřejnosti jako sídlo Technického muzea, během druhé světové války v něm bylo Wehrmachtem zřízeno vojenské muzeum a po konfiskaci československým státem se stal sídlem Vojenského historického muzea. Národní galerie Praha získala palác v roce 2002.