Der Widerstand war enorm, auf beiden Seiten. "Die hochgespannten Erwartungen des Weltjudentums" seien nicht zu erfüllen, sagte Bundesfinanzminister Fritz Schäffer (CSU). David Ben Gurion, damals noch Ministerpräsident Israels, musste der Knesset versichern, dass es nicht um diplomatische Beziehungen zum "Volk der Täter" gehe.
Doch die Wiedergutmachungsverhandlungen zwischen Israel und Deutschland begannen trotzdem am 21. März 1952 im niederländischen Wassenaar. Am 10. September desselben Jahres unterzeichneten Konrad Adenauer und der israelische Außenminister Moshe Sharett in Luxemburg das Abkommen. Die Bundesrepublik verpflichtete sich unter anderem, 3 Milliarden D-Mark an Israel zu zahlen. Das Hauptziel war, Israel für die Integration mittelloser jüdischer Flüchtlinge zu entschädigen und von den Nazis geraubtes Vermögen rückzuerstatten.
Vorangegangen war eine Regierungserklärung Adenauers im September 1951. "Im Namen des deutschen Volkes sind unsagbare Verbrechen begangen worden, die zur moralischen und materiellen Wiedergutmachung verpflichten." Adenauer sprach damit zwar nicht, wie von Israel gefordert, von einer Kollektivschuld, doch Tel Aviv willigte ein. Anfang Dezember erkannte zudem der Bundeskanzler in einem geheimen Brief das am jüdischen Volk begangene Unrecht an und beschrieb die Wiedergutmachung als "Ehrenpflicht des deutschen Volkes".
Adenauers Argument: Der Vertrag fördere die Westintegration der BRD. Doch Vorbehalte blieben: Nur 239 von 402 Abgeordneten stimmten dem Vertrag 1953 im Bundestag zu. Bis zu offiziellen diplomatischen Kontakten war es noch weit: Erst 1965 vereinbarten beide Staaten einen Botschafteraustausch.