Múzeum hodín je umiestnené v objekte známom pod menom Dom U Dobrého pastiera. Postavili ho v rokoch 1760-1765 a pôvodne bol súčasťou zástavby podhradia. V suteréne a na prízemí boli priestory využívané na obchodno-remeselnú činnosť, horné podlažia slúžili na bývanie.

Budova prezentuje ukážku kvalitnej rokokovej meštianskej architektúry o čom svedčí aj samotné riešenie objektu rešpektujúceho daný terén a priestorové obmedzenie. Hodnotnou súčasťou sú aj pôvodné detaily napríklad iluzívne okno s dvojicou črepníkov s kvetmi a mreže. Plastika Dobrého pastiera osadená pod baldachýnom už nie je pôvodná.

Budova v priebehu storočí prešla viacerými premenami. Pri rekonštrukcii objektu pred realizáciou expozície Múzeum hodín bol interiér prispôsobený výstavným účelom. Expozícia bola sprístupnená v roku 1974, v posledných rokoch bola dopĺňaná novými akvizíciami hodín.