Так, ведь, только один раз

Потом - кешируется. ActiveWorlds раньше так вообще на модемах делал. А сейчас тот же SecondLife также поступает.
Да и не сильно больше 3D (в виде моделей) весит, чем обычная графика. Другое дело, что передавать надо будет сразу все окрестности - ну так ничего, первый раз после захода в новые локации можно и подождать

А потом, если будешь просто перемещаться, новые территории будут подгружаться ещё на пределе видимости.