Una mappa risalente al 1565, conservata presso il Comune di Borgo San Dalmazzo, attesta, nell'attuale area in cui sorge il Santuario, la presenza di una croce. Solamente un secolo dopo, nel 1651 un documento menziona la presenza del Santuario, facendo riferimento ad un'elemosina fatta dalla Confraternita di Santa Croce in Rocccavione che si recava in processione al Santuario. Dal Settecento è inoltre attestata la presenza di un eremita.
La struttura iniziale del Santuario era molto semplice e presentava una sola navata, un alloggio per il romito, e una sacrestia. Sull’altare maggiore, dove ora si trova una preziosa icona, era collocata una antica statua della Madonna col Bambino Gesù sulle ginocchia, che attualmente è conservata ed esposta nel museo della parrocchia di San Dalmazzo.
L’edificio è andato ingrandendosi lentamente. Nel 1831 venne costruito il campanile e nel 1836 la chiesa fu circondata dal portico, nel cui tratto posteriore sorge l’alloggio del cappellano, che fino al 1970 ha custodito il santuario.
Nel 1902 vennero costruiti i piloni della Via Crucis lungo la salita dal paese al Santuario.