1947, im noch von allerlei materiellen und geistigen Entbehrungen geprägten Nachkriegs-Wien, rief Karl Gerstmayer in der Josefstadt die „Kleine Galerie für Schule und Heim“ ins Leben. Von Anbeginn fungierte die mit ideeller und, in viel geringerem Umfang, materieller Unterstützung durch den kommunistischen Wiener Kulturstadtrat Viktor Matejka gegründete Galerie als eine spezielle Einrichtung der Wiener Volksbildung. Entsprechend war das Ziel, einem möglichst breiten Kreis der Bevölkerung klassische und sukzessive auch moderne Kunst näher zu bringen. Unterstützt in seinem volksbildnerischen und kulturpädagogischen Wirken wurde Gerstmayer (1899–1983), ein ausgebildeter Chemiker, der in den 1930er Jahren erste Erfahrungen in der kommerziellen Kunstvermittlung gesammelt hatte, von der Gesellschaft der Kunstfreunde, die er mitbegründet hatte.

Im Galerie-Lokal in der Neudeggergasse 8 fanden seit 1947 regelmäßig publikumswirksame Ausstellungen statt, wobei in den ersten zehn, fünfzehn Jahren aus Kostengründen zumeist Lithografien gezeigt wurden. Anfänglich handelte es sich vorwiegend um Reproduktionen alter Meister, doch schrittweise wurden die BesucherInnen mit moderner und abstrakter Kunst konfrontiert. Dieses behutsame Vorgehen schien insofern angebracht, als Österreich von 1938 bis 1945 als Teil des Dritten Reiches vom internationalen Kunst- und Kulturaustausch abgeschnitten war und die nationalsozialistische Kulturpolitik mit ihrer ideologisch-propagandistischen Verunglimpfung moderner Kunst als "entartet" das Rezeptionsverhalten vieler Menschen bewusst oder unbewusst immer noch beeinflusste. Ein Vergleich mit anderen Galerien, aber etwa auch der Wiener Secession veranschaulicht, dass diese bis in die 1960er Jahre ebenfalls „vorwiegend Ausstellungen mit braven und soliden Malern und Bildhauern [zeigten], die eher selten von einer gepflegten, gemäßigten Moderne abwichen, bisweilen aber auch zu radikaleren Ausdrucksformen fanden“ (Hilger 2011, S. 23). Grund dafür war die nahezu monopolartige Dominanz der Wiener Schule des phantastischen Realismus, die sich von abstrakten Tendenzen in Amerika und Frankreich abgrenzte.

Da es sich bei Reproduktionen um ein preisgünstiges, aber effizientes Instrument der Kunstvermittlung handelt, konnten diese in Form von Leihbild-Ausstellungen (entweder als Werkschau eines Künstlers bzw. einer Künstlerin oder als von den Galerie-MitarbeiterInnen zu thematischen Gruppen zusammengestellte Bilder) an Schulen, Gewerkschaftsheime, Betriebe, aber auch Einzelpersonen verborgt werden. Umgerechnet zwei Euro kostete es in den 1970er Jahren, sich ein Leihbild für ein Monat auszuborgen. Dem Bildungsauftrag gerecht wurde die Galerie weiters durch regelmäßige, von der Gesellschaft der Kunstfreunde organisierte Vorträge von KünstlerInnen und WissenschafterInnen über kulturelle, aber auch gesellschaftspolitische Themen sowie Literatur- und Schallplattenabende. In den fünfziger Jahren fanden häufig drei bis vier Vorträge pro Woche in der Neudeggergasse statt, für die neben zwei kleineren Räumen mit jeweils 25m2 und einer angeschlossenen kleinen Bibliothek sowie ein großer Ausstellungsraum mit 84m2 zur Verfügung standen.

Ein neben den Ausstellungen und Vorträgen weiteres wichtiges Medium der Galerie, kulturpädagogisch zu wirken, waren die „Wiener Kunsthefte“ (bis 1970 „kleine galerie“ genannt). Seit 1948 monatlich vom Verein der Kunstfreunde herausgegeben – Chefredakteur war jeweils der Direktor der Kleinen Galerie –, informierten sie pointiert über die in der Galerie ausstellenden KünstlerInnen, aber auch generell über verschiedene Kunst- und Stilrichtungen, aktuelle kunst- und kulturpolitische Entwicklungen sowie allgemeine gesellschaftliche und politische Trends. Nach einem Relaunch 1958 stiegen Umfang wie inhaltliche Güte der Kunsthefte wieder stark an, vor allem weil prominente GastautorInnen gewonnen werden konnten, deren Beiträge häufig treffende Analysen der österreichischen Kulturpolitik und des Wiener Kunstgeschehens boten. In den frühen 1970er Jahren setzte es einen zweiten Qualitätssprung, und die Kunsthefte wandelten sich zu einem lesenswerten Forum, in dem grundsätzliche kulturpolitische Diskurse ausgetragen wurden, so etwa von Dieter Schrage, Otto Breicha, Peter Baum, Gerhard Habarta, Hubert Christian Ehalt, Viktor Matejka.