Una noche, Cheval soñó con la construcción de un palacio. No volvió a pensar en este sueño durante años, hasta que, un día en la primavera de 1879, su pie quedó atrapado en una roca de aspecto inusual durante su ruta postal. La roca fascinó tanto a Cheval que se la llevó a casa para admirarla y luego le dio una idea. Durante los siguientes 33 años, Cheval continuó recogiendo piedras durante su ruta postal, primero las llevaba en los bolsillos, más adelante usó una cesta y, finalmente, una carretilla.
Cada una de las piedras fue seleccionada a mano por Cheval para desempeñar un papel en la construcción de su palacio soñado. Por más de tres décadas, Cheval pasó sus noches construyendo la casa a la luz de una lámpara de aceite, y sus días, repartiendo el correo. Completó los trabajos en el palacio en 1912.
Hoy en día, el palacio es un monumento protegido y está abierto al público.
Aunque Cheval deseaba ser enterrado en su palacio cuando muriera, esto era ilegal en Francia en ese momento, así que pasó un período adicional de ocho años construyendo un mausoleo para sí mismo en el cementerio de la ciudad. Terminó justo a tiempo; Cheval falleció el 19 de agosto de 1924, aproximadamente un año después de terminar el mausoleo, que sigue siendo su última morada.