Возможно, еще раньше - со времен крестовых походов. Собственно, "не таких" - это в том числе нанюхавшихся разных восточных идей, ну и так далее... Причем именно тогда стали изолировать с целью, как сейчас говорят, "рейдерства" (т.е. отъема собственности и статуса). Тут, на самом деле, надо копать в сторону истории понятия "норма", имхо.