In seiner Längserstreckung von über 200 Metern erfährt das Paul-Löbe-Haus eine klare Gliederung: Über eine lichtdurchflutete zentrale Halle erschließen sich die kammartig zur Seite hin angeschlossenen Bürotrakte, zwischen denen Rundtürme die kreisförmigen Sitzungssäle der Bundestagsausschüsse aufnehmen. Diese klare Struktur des Baus erforderte die Einladung von Künstlern mit einer minimalistischen oder konzeptuellen Arbeitsweise. Sie wurden zu direkten Auftragsvergaben, zu Kolloquiumsverfahren sowie zu Wettbewerben eingeladen.
Das Gesamtkonzept wurde von Prof. Dr. Klaus Werner, Rektor der Hochschule für Grafik und Buchkunst in Leipzig, sowie von Prof. Dr. Armin Zweite, dem Direktor der Kunstsammlung Nordrhein-Westfalen, entwickelt. Die Ergebnisse der einzelnen Wettbewerbsverfahren wurden zunächst von einer Jury beurteilt, über deren Empfehlung wiederum im Kunstbeirat des Deutschen Bundestages beraten und abgestimmt wurde.