Присаживайтесь, или присядьте - это форма глагола "присесть", то есть сесть ненадолго. Поэтому, действительно, воспринимается как некоторое заранее установленное ограничение продолжительности визита.
Вот еще мнения:
http://www.gramota.ru/spravka/trudnosti/36_66
http://www.lovehate.ru/opinions/73804/1/53916