Roy Lichtensteins „M-Maybe“, Andy Warhols „Brillo Boxes“ oder George Segals „Restaurant Window“, Ikonen der amerikanischen Pop Art, waren gerade vollendet, als sie 1969 als Leihgabe ins Wallraf-Richartz-Museum einzogen. Die Werke stammen von Peter und Irene Ludwig, die die größte Pop Art Sammlung außerhalb der USA zusammengetragen haben.

Durch die Schenkung von rund 350 Werken moderner Kunst des Ehepaars Ludwig wurde 1976 das Museum Ludwig gegründet. Es sollte als erstes Museum in Köln Kunst der Gegenwart ausstellen. Neben der Pop Art gaben die Ludwigs noch eine umfangreiche Sammlung der Russischen Avantgarde aus der Zeit von 1906 bis 1930 sowie ein Konvolut von mehreren hundert Arbeiten Pablo Picassos als Dauerleihgabe in das neue Museum. Die Werke Picassos sind in zwei großzügigen Schenkungen 1994 und 2001 inzwischen in den Besitz des Museum Ludwig übergegangen. Die moderne Abteilung des Wallraf-Richartz-Museums mit der Expressionisten-Sammlung des Kölner Juristen Josef Haubrich bildete die Basis für die Sammlung zeitgenössischer Kunst und wurde ebenfalls in das Museum Ludwig integriert.

Das Museum sammelte konsequent weiter zeitgenössische Kunst. Das jüngste Werk war immer erst ein paar Monate alt. So gelangten auch deutsche Kunst der 70er und 80er Jahre sowie internationale Tendenzen und Installationen der jüngeren Avantgarde ins Museum Ludwig.