A Kaaba foi mencionada muitas vezes ao longo da história, e pessoas de lugares distantes da Península Arábica viajavam até ela anualmente, respeitando sua santidade. Ela também é mencionada nas profecias do Antigo Testamento: "Passando pelo vale de Baca, fazem dele uma fonte" [300].
Os árabes já reverenciavam a Casa Sagrada em tempos pré-islâmicos. No início da missão do Profeta Muhammad, Deus ordenou que ele orasse voltado para Jerusalém, e mais tarde instruiu-o a mudar a direção para a Casa Sagrada (Kaaba), a fim de diferenciar os verdadeiros seguidores do Profeta Muhammad, que eram sinceros para com Deus, daqueles que se desviariam. O objetivo da mudança de direção era purificar os corações e orientar a devoção exclusivamente para Deus. Assim, os muçulmanos aceitaram e se voltaram para a direção indicada pelo Profeta, o que anteriormente os judeus utilizavam como argumento, já que ele se orientava para Jerusalém. (Antigo Testamento, Salmos: 84).
A mudança de direção também representou uma transição, indicando que a liderança religiosa passaria para os árabes, em vez dos Filhos de Israel, que haviam rompido seus pactos com o Senhor dos mundos.