Так, ведь, только один раз
Потом - кешируется. ActiveWorlds раньше так вообще на модемах делал. А сейчас тот же SecondLife также поступает.
Да и не сильно больше 3D (в виде моделей) весит, чем обычная графика. Другое дело, что передавать надо будет сразу все окрестности - ну так ничего, первый раз после захода в новые локации можно и подождать
А потом, если будешь просто перемещаться, новые территории будут подгружаться ещё на пределе видимости.