Το ομολογουμένως πρωτότυπο, όσο και παράξενο όνομα «Παναγία του Χάρου» οφείλεται στη μοναδική, αλλά και θαυματουργή εικόνα, όπου η Θεοτόκος απεικονίζεται να κρατά τον Χριστό όχι ως βρέφος, αλλά κρεμάμενο νεκρό στο Σταυρό του μαρτυρίου. Και επειδή οι έννοιες νεκρός και Χάρος σχετίζονται, η εικόνα, αλλά και γενικότερα η εκκλησία, ονομάστηκε «Παναγία του Χάρου».
Στα 1600, μοναχοί από την Ι.Μ. της Πάτμου φτάνουν στους Λειψούς και χτίζουν σε απόσταση ενός χιλιομέτρου από το χωριό το εξωμονάστηρο «Παναγία του Χάρου». Ο ναός, τρισυπόστατος, σε ρυθμό βυζαντινό διακρίνεται για το χαμηλό τρούλο και τα ακανόνιστα τόξα, τα οποία δημιουργούν ασυνήθιστη γοητεία, σε συνδυασμό με τα λιγοστά και στενόμακρα παράθυρά του.