Die Grafische Sammlung der Kunstsammlungen und Museen Augsburg besitzt mit mehr als 40.000 Arbeiten auf Papier eine der wichtigsten Sammlungen zur grafischen Kunst des Barock und des Rokoko. Die Ausstellungsräume des Grafischen Kabinetts im Höhmannhaus fungieren als Schaufenster in ebendiese Grafische Sammlung und zeigen in wechselnden Ausstellungen deren reichhaltigen Fundus und die unzähligen Fassetten der Zeichen- und Druckkünste, die einst in Augsburg zur Blüte gelangten. In rund vier Ausstellungen pro Jahr werden Themenkomplexe aus den Beständen der Grafischen Sammlung in konzentrierter Form vorgestellt oder es werden Begleitausstellungen zu größeren Sonderausstellungen präsentiert.
Das viergeschossige Patrizierhaus, das in seinem Kern auf das 16. bzw. 17. Jahrhundert zurückgeht, befindet sich direkt neben dem Schaezlerpalais am ehemaligen Weinmarkt, dessen Zentrum der Herkulesbrunnen von Adriaen de Vries bildet. Der heutige Bau entstand zu Beginn des 17. Jahrhunderts aus zwei Häusern mit hofseitigen Flügelbauten und einer Brunnenwand (um 1620), die mit dem Augsburger Stadtbaumeister Elias Holl in Verbindung gebracht wird. 1764 wurde das heutige, innenliegende Treppenhaus mit einem Fresko des letzten Augsburger Akademiedirektors Joseph Anton Huber (1737–1815) ausgestattet. Es zeigt in illusionistischer Architektur den Sturz des Phaeton und die Trauer der Heliaden.
Dr. Ruth Höhmann (1915-2004), deren Eltern das Haus 1934 erworben hatten, vermachte das Gebäude testamentarisch den Kunstsammlungen und Museen Augsburg, die hier mit ihrer Unterstützung bereits 1994 die Neue Galerie eingerichtet hatten. Dank der großzügigen Unterstützung durch drei Honoratioren konnten 2011 mit der Unterbringung des Grafischen Kabinetts im Höhmannhaus erstmals auch Räume für die Präsentation von Ausschnitten aus der Grafischen Sammlung hergerichtet werden.
