1999'dan 2003'e kadar meclis başkanlığı yapan Burg, İsrail'in Haaretz gazetesine verdiği mülakatta, "İsrail bu şekilde devam edemez. Bunun sebebi de İsrail'in Yahudi devleti olarak tanımlanmasıdır. Yahudi devleti infilak etmeye hazır bir bombadır, bir dinamittir" dedi. İsrail'in Yahudi devleti olarak tanımlanmasının bazılarının kulağına hoş geldiğini, buna sempati duyulduğunu ifade eden eski Meclis Başkanı, yahudi devletinin bir "nitrogliserin" (güçlü patlayıcı özelliği olan madde) olduğunu söyledi. Burg, yeni yazdığı "Hitler'i mağlup etmek" isimli kitabında da İsrail'in işgal altındaki Filistin topraklarında yaptıklarının Nazi Almanyası'nın yaptıklarıyla aynı olduğunu ifade ediyor.

Dünyanın neresinde olursa olsun her Yahudi'nin İsrail'de yaşama hakkı olduğuna dair kanuna da değinen Burg, "Bu kanunda Hitler'in sureti vardır. Ben kimliğimi Hitler'in belirlemesini istemiyorum" diye konuştu. Barış Şimdi isimli İsrail insan hakları kuruluşunun eski eylemcilerinden olan Burg, İsrail'in Batı Şeria'nın etrafına inşa ettiği duvara da tepki gösterdi. Eski Meclis Başkanı, "Bu tecrit duvarı bir paranoyaya karşı inşa ediliyor. Bu yabancı düşmanlığıdır. Çok delice bir olaydır" dedi. Burg,
İsrail'in Filistinli direnişcilere karşı gerçekleştirdiği suikast saldırılarının da cinayet olduğunu ifade etti.