Obwohl der Reichstag mehr als zwanzig Jahre - von 1871 bis 1894 - nicht am Königsplatz, sondern in der Leipziger Straße 4 zusammenkam, ist der dort genutzte Parlamentsbau für die kollektive Erinnerung der Deutschen ohne Bedeutung. Seinen Grund mag das nicht zuletzt darin haben, dass das zwischen Kriegsministerium und Herrenhaus in die Front der Leipziger Straße eingelassene Provisorium im Vergleich mit der Monumentalität des späteren Reichstagsgebäudes am Königsplatz unscheinbar wirkte und heute nichts mehr an seinen Bestand erinnert. Nach dem Auszug des Reichstages im Jahr 1894 wurde der Parlamentsbau zunächst an den "Nationalverein zur Hebung der Volksgesundheit" vermietet, der ihn unter anderem für eine Obst- und Gemüseausstellung zur Verfügung stellte. Vier Jahre später folgte der Abriss, um Platz für den Neubau des Preußischen Herrenhauses zu schaffen, in dem heute der Bundesrat tagt.
Schon der Reichstag des Norddeutschen Bundes war in Berlin nur notdürftig in dem ehemaligen Wohnhaus der Familie Mendelssohn-Bartholdy in der Leipziger Straße 3 untergekommen, das 1851 von Heinrich Bürde für die erste Kammer des Preußischen Landtages umgebaut worden war. Als sich mit der Gründung des Deutschen Reichs im Jahr 1871 die Zahl der Reichstagsabgeordneten von 297 auf zunächst 382 erhöhte, musste der Reichstag in das Gebäude des Preußischen Abgeordnetenhauses in der Leipziger Straße 75 ausweichen. Doch auch das ehemalige Palais des Staatskanzlers Karl August Fürst von Hardenberg, das in den Jahren 1848/1849 ebenfalls von Heinrich Bürde für die zweite Kammer des Preußischen Landtags umgebaut worden war, bot den Parlamentariern keine guten Arbeitsbedingungen. Ein ausgetrockneter und für seinen Verwesungsgeruch berüchtigter Abwasserkanal, der an das Grundstück grenzte, ließ die Abgeordneten um ihre Gesundheit fürchten und die Unübersichtlichkeit sowie die miserable Akustik des Plenarsaales machten ein geordnetes parlamentarisches Arbeiten unmöglich.
Nicht allein aufgrund der schlechten Arbeitsbedingungen stellte der Reichstag schon kurze Zeit nach seiner Konstituierung im April 1871 fest, dass "die Errichtung eines den Aufgaben des deutschen Reichstags entsprechenden und der Vertretung des deutschen Volkes würdigen Reichstagshauses […] ein dringendes Bedürfnis" sei. Allein ein "monumentales" und das bedeutete nach zeitgenössischem Empfinden freistehendes Gebäude, so hatten vor allem die nationalliberalen Abgeordneten in den entscheidenden Debatten ausgeführt, sei der Würde und dem internationalen Rang des Deutschen Reiches angemessen. Da die Planung und der Bau eines "würdigen Reichstagshauses" einen Zeitraum von mehreren Jahren in Anspruch nehmen würden, galt es zunächst ein Provisorium zu schaffen, das man mit den Räumlichkeiten der Königlichen Porzellan-Manufaktur in der Leipziger Straße 4 rasch fand. Für ihren Umbau waren die Architekten Martin Gropius und Heino Schmieden verantwortlich, die nach Plänen von Friedrich Hitzig arbeiteten. Um bereits im Herbst 1871 für die Sitzungen des Reichstages zur Verfügung zu stehen, wurde einer der Innenhöfe überdacht und in ihm ein Plenarsaal in Fachwerkbauweise errichtet. Die Straßenfront wurde zunächst von der einstöckigen Fassade der ehemaligen Porzellan-Manufaktur gebildet. 1874 wurde sie um ein zweites Stockwerk erweitert und im Stil der Neorenaissance neu gestaltet, der im vorherrschenden Historismus insbesondere für bürgerliche Bauten Verwendung fand. Der gesamte Umbau der Manufaktur wurde in nicht einmal vier Monaten bewerkstelligt, was zu einigen Baumängeln führte. So lösten sich schon zwei Jahre nach Bezug des Gebäudes einzelne Teile der Decke ab und ließen den Abgeordneten Windthorst klagen, dass "bald Glas, bald Anderes hinunter gefallen (Heiterkeit links) [ist] und […] sehr scharf eingeschnitten [hat]".
Doch bei den Abgeordneten fand das neue Reichstagsgebäude, das ihnen am 14. Oktober 1871 offiziell übergeben worden war und rund 450.000 Taler gekostet hatte, im Allgemeinen gute Aufnahme, auch wenn in ihm keine optimalen Arbeitsbedingungen herrschten. So besaßen die Parlamentarier keine eigenen Büros. Ihre parlamentarische "Büro"-Arbeit mussten sie entweder in ihren Privaträumen oder im Lesesaal der Bibliothek verrichten. Über eigene Arbeitsräume konnten im Reichstagsgebäude nur wenige herausragende Amtsträger, so unter anderem der Reichstagspräsident und der Reichkanzler, verfügen. Zum zentralen Aufenthaltsort entwickelte sich deshalb rasch das große Foyer, in dem auch der wesentliche Teil des Bildprogramms entfaltet wurde, mit dem man das Reichstagsgebäude ausschmückte. Das zentrale dekorative Element des Foyers waren zehn in Medaillons gefasste Portraits herausragender Persönlichkeiten, darunter Friedrich Schiller, Wilhelm von Humboldt, Ernst Moritz Arndt, Karl Reichsfreiherr vom und zum Stein sowie Gerhard von Scharnhorst, denen man eine Sentenz zugeordnet hatte. So wurde etwa der preußische Reformer von Stein mit den Worten zitiert: "Ich habe nur ein Vaterland, das heißt Deutschland; so bin ich auch nur ihm und nicht einem Theil davon von ganzem Herzen ergeben". In seiner Gesamtheit war das Bildprogramm dem kleindeutsch-preußischen Gedanken verpflichtet, demzufolge Preußen den Deutschen ihre Einheit und ihr Reich gegeben hatte, das im Inneren auf einem versöhnlichen Kompromiss zwischen Monarch und Parlament beruhte, wie unter anderem die Aufnahme des gemäßigten liberalen Paulskirchenparlamentariers Karl Mathy in die Galerie der Portraitierten deutlich machten sollte. Eine Erinnerung an die revolutionäre Tradition der Paulskirche wurde bei der Ausschmückung des Reichstagsgebäudes ebenso vermieden wie eine demonstrative Präsenz der Hohenzollern-Monarchie. Insgesamt mutete das Parlamentsgebäude in der Leipziger Straße 4 damit sehr viel bürgerlicher an, als später der Wallot-Bau, den der Reichstag im Jahr 1894 bezog.