Le bâtiment de l'ancienne ambassade de Yougoslavie dans la Rauchstraße a été érigé sur le terrain d'une ancienne villa de l'industriel juif Paul Mendelssohn Bartholdy, petit-fils du célèbre compositeur Felix Mendelssohn Bartholdy. Le bâtiment a été conçu par Werner March, concepteur du Stade olympique de Berlin. Il a été érigé entre 1939 et 1940. March a été obligé de suivre les instructions d'Albert Speer, alors inspecteur général des bâtiments pour Berlin. Les éléments de sculpture ont été conçus par Arno Breker, un autre artiste éminent de l’ère nazie. Initialement, le bâtiment servait de siège de l’ambassade de Yougoslavie. Après l’invasion allemande de la Yougoslavie et de la Grèce au printemps 1941, l’État yougoslave a cessé d'exister. Les différents départements du Reich et du NSDAP ont donc installé leurs bureaux à l’intérieur de ce bâtiment.

En mai 1941, Alfred Rosenberg, un des principaux idéologues du NSDAP, qui est devenu plus tard le ministre du Reich des Territoires occupés de l'Est (Reichsministerium für die besetzten Ostgebiete), a également établi son bureau dans le bâtiment. Le ministre s’est vu confier la tâche de rassembler les experts et de préparer des plans pour la politique d’occupation dans les territoires de l’Est, plans qui devaient être conquis par la Wehrmacht après le début de l’opération Barbarossa. Le 29 janvier 1942, seulement neuf jours après la tristement célèbre conférence de Wannsee, le bâtiment a été utilisé pour une conférence, qui comprenait seize participants du ministère de Rosenberg, la Wehrmacht, le RSHA, la chancellerie du parti et le Ministère de la Justice. Cette conférence a été organisée pour discuter de la mise en œuvre des décisions de la Conférence de Wannsee.

Néanmoins, pendant l'été 1942, le ministre a décidé de déplacer son siège à l'ancienne ambassade soviétique, dans la rue Unter den Linden. Le bâtiment de la Rauchstraße a ensuite été utilisé comme maison d’hôtes du « Grand Reich germanique ». Le bâtiment était un des deux bâtiments de la Rauchstraße ayant résisté aux raids aériens. De 1945 à 1953, il a été utilisé par la mission militaire communiste yougoslave. Puis, entre 1953 et 1990, l'Oberstes Rückerstattungsgericht (Cour suprême de restitution) pour Berlin, y a installé son siège. Depuis 1995, le bâtiment est utilisé par le Conseil allemand des relations extérieures (Société allemande de politique étrangère).