Le bâtiment fait l'objet d'un concours international, gagné par l'architecte français Louis Marie Cordonnier avec un projet de style néo-Renaissance. Pour ne pas dépasser le budget, quelques modifications sont nécessaires et sont faites par Cordonnier et son associé néerlandais, Ad van der Steur. Le palais, prévu avec deux grands clochers et deux plus petites tours derrière, n'aura qu'un seul clocher et une petite tour sur la façade du palais ; et la bibliothèque, au lieu d'être un bâtiment annexe, sera intégrée au palais.
Les jardins du palais sont l'œuvre de l'architecte paysagiste Thomas Hayton Mawson, qui, pour les mêmes raisons budgétaires, doit réaménager son projet et retirer quelques fontaines. La première pierre est posée en 1907, à l'occasion de la seconde conférence de La Haye. La construction commence quelque temps plus tard et est achevée le 28 août 1913. Le palais est inauguré officiellement par la reine Wilhelmine des Pays-Bas et, entre autres, Andrew Carnegie. En 1914, le peintre français Albert Besnard réalise un décor intitulé La Paix par l'arbitrage