El cardenal Antoni Despuig i Dameto, eclesiàstic il·lustrat, humanista i mecenes, protector dels ermitans de Sant Pau i Sant Antoni, proposà als ermitans la creació d’una nova fundació a la Serra de Llevant. Ell, coneixedor de la vida eremítica i vinculat familiarment a Artà, proposà les terres de l’antic lloc de Binialgorfa, un indret solitari i fèrtil que permetia viure del treball de la terra.

La seva iniciativa, plantejada el 1804, provocà algunes discrepàncies dins la congregació, però finalment prosperà i Jaume Morei i Pisà feu donació del terreny. El 24 de juliol de 1805 es formalitzà la fundació i, pocs dies després, els primers ermitans s’hi instal·laren per començar la nova comunitat.

Els cinc ermitans fundadors, procedents de les ermites de Sant Honorat i de la Trinitat, arribaren a Artà pocs dies després i s’instal·laren provisionalment a les antigues construccions, que netejaren i adaptaren amb ajuda dels germans del cardenal Despuig.

Aquest ullastre fou el primer refugi dels ermitans fundadors de Betlem, ja que la torre no estava en condicions per dormir-hi. Així doncs, l’estiu de 1805, dormiren sota l’ullastre les primeres nits, mentre netejaven i reparaven l’antiga torre de Binialgorfa.

La torre els va servir de casa durant dos mesos, fins que el Cardenal Despuig va veure en les condicions en què habitaven i feu construir tres cel·les, cuina i refetor. A l’antiga torre s’hi instal·là un petit oratori que fou beneït el 1806 pel mateix Cardenal. Algunes persones no dubtaren a fer donacions per a bastir aquest primigeni oratori i les primeres dependències de la casa. Així doncs, el mateix Despuig els regalà ornaments necessaris per a la missa i l’escultura del Sant Crist. Per altra part, Don Dionís Sard, cartoixà i natural d’Artà, cedí vuit pintures de Fra. Manuel Bayeu (Naixement de Jesús, Beata Catalina Tomàs, l’Ecce Homo, Santa Magdalena penitent, Sant Joan Baptista, Sant Bru, Sant Antoni Abat i una calavera).