Els terrenys on avui s’alça l’Ermita formaven part de l’antiga alqueria de Binialgorfa, una possessió d’origen islàmic situada en el terme d’Artà. Des del segle XIII, les terres de Binialgorfa han estat propietat de dues famílies artanenques: els Ferrer i els Morei.

Documents històrics documenten que a Binialgorfa existia un petit nucli d’edificis destinats a l’activitat agrària, conformat per una torre, una tafona i un abellar. Segons fonts documentals, la producció d’oli i mel, prové de l’època medieval.