In such a case you must go away, as told.
1- Houses and dwellings belong to people and therefore you must not enter them without permission to do so.
2- One must ask for permission before entering.
3- If permission is not granted to enter the house, then one is not allowed to enter in spite of its owners.
( And if you are asked to leave, then leave. That is purer for you)
عليك أن ترجع كما طلب منك.
البيوت ملك لأصحابها لا يجوز دخولها إلا بإذن.
و بناء على ذلك يجب الإستئذان حين الدخول للبيوت.
من لم يؤذن له بدخول البيت لايجوز له أن يدخل رغما عن أصحاب البيوت.
( وَإِن قِيلَ لَكُمُ ارْجِعُوا فَارْجِعُوا ۖ هُوَ أَزْكَىٰ لَكُمْ ) النور 24: 28