Историята на японските дзен градини започва със въвеждането на будизма в Япония през VI век от н.е. След пътуванията на японски монаси до Китай и усвояването на дзен будизма, тези градини започват да се оформят в Япония в края на периода Камакура (1185‑1333).
През XIV‑XV век японските дзен будистки монаси внасят редица китайски пейзажни картини, които вдъхновяват местните художници и монаси. Тези произведения залагат принципа йохаку‑но‑би – „красотата на празното пространство“. През XV век се завършва една от най-известните дзен градини – Рёан‑джи в Киото, известен още като „Храма на мирния дракон“.
Традиционно дзен градините са част от монастири, разположени близо до къщите на абата. Те не са създадени за медитация (зазен), а за размишление, като грижата за градината е част от монашеската практика. Днес те се изграждат и в други среди, но естетическият им принцип остава простотата, независимо от местоположението.