NeRF и гауссовы сплаты: реальность в 3D по фото и видео
Классическая фотограмметрия строит сетку по фотографиям. Новое поколение — NeRF (2020) и Gaussian Splatting (2023) — идёт дальше: ИИ восстанавливает целую сцену со светом и отражениями по обычной съёмке на телефон. Это одна из самых горячих тем ИИ в 3D: за пару лет сплаты из научной статьи превратились в кнопку в мобильных приложениях.
NeRF и гауссовы сплаты восстанавливают 3D-сцену по набору фото/видео, включая свет и прозрачность. Отлично для облётов и визуализации, но для печати и правки нужна конвертация в обычную сетку.
01Чем это отличается от фотограмметрии
Фотограмметрия даёт полигональную сетку с текстурой — то, что можно открыть в любом редакторе. NeRF и сплаты хранят сцену иначе. NeRF — нейросеть, которая выучила, как сцена выглядит из любой точки: смотрится отлично, но рендер требует прогона сети. Gaussian Splatting хранит сцену как миллионы полупрозрачных цветных «капель» (гауссиан) — обычно 1–5 миллионов на сцену — и рендерит их в реальном времени, на хорошей видеокарте это 30–100 кадров в секунду.
Главный выигрыш обоих подходов — блики, стекло, тонкие ветки, мокрый асфальт: всё, на чём классическая фотограмметрия ломается или даёт «рваную» геометрию. Поэтому на практике сплаты почти вытеснили NeRF в прикладных задачах: качество сравнимое, а скорость на порядки выше.
02Где применяют
- Виртуальные туры и облёты локаций: объект недвижимости снимается за 10–20 минут.
- Визуализация музеев, выставок, интерьеров с живым светом.
- Захват сложных сцен для кино и VFX — фон снимают сплатом и вставляют графику.
- Веб-просмотр: сплаты грузятся в браузер и крутятся даже на телефоне.
- Фиксация состояния стройки или объекта «как есть» на дату.
ВажноСплаты и NeRF — это про просмотр и визуализацию, а не про готовую сетку. Чтобы напечатать или отредактировать объект, его нужно конвертировать в полигоны и чистить — и это самое слабое звено конвейера.
03Как снять свой первый сплат
- Снимите видео или 100–300 фото, обходя объект по кругу на 2–3 уровнях высоты с перекрытием кадров 60–80%.
- Держите выдержку короткой: смаз — главный убийца качества; свет ровный, без резких перепадов.
- Не меняйте экспозицию и фокус на ходу — автоматика камеры «плывущими» кадрами портит расчёт.
- Загрузите съёмку в софт для сплатов (мобильные и десктопные варианты есть, включая бесплатные) — расчёт занимает от минут до часа на GPU.
- Почистите сцену: удалите «мусорные» гауссианы вокруг объекта и случайных прохожих.
- Экспортируйте в веб-просмотрщик или сконвертируйте в сетку, если нужна геометрия.
04Стоит ли осваивать
Если работаете с визуализацией пространств — да, это уже рабочий инструмент, а не эксперимент. Если делаете модели под печать и анимацию — пока это скорее источник референса: конвертация сплата в чистую сетку по качеству уступает фотограмметрии, и рабочей лошадкой остаётся классика. Разумный гибрид: сплат — для быстрого превью и согласования, фотограмметрия — для финальной геометрии.
СоветСнимайте плотно и с перекрытием, как для фотограмметрии: много ракурсов, стабильный свет, короткая выдержка. Качество захвата напрямую определяет качество сплата — досъёмка потом невозможна.
05Типичные ошибки
- Снимать на ходу длинной выдержкой — смазанные кадры разваливают реконструкцию; лучше меньше кадров, но резких.
- Обходить объект один раз на одной высоте — верх и низ останутся «дырами»; нужны 2–3 круга на разных уровнях.
- Снимать движущиеся сцены — люди и машины в кадре превращаются в шлейфы-призраки; выбирайте тихое время.
- Ждать из сплата готовую модель для печати — конвертация в сетку даёт грубый результат, требующий серьёзной чистки и ретопологии.
- Игнорировать вес сцены — миллионы гауссиан занимают сотни мегабайт; для веба сцену прореживают и режут до нужной зоны.
06Мини-словарь
- NeRF
- neural radiance field — нейросеть, выучившая вид сцены из любой точки; появилась в 2020 году.
- Gaussian Splatting
- хранение сцены миллионами полупрозрачных цветных гауссиан с рендером в реальном времени; метод 2023 года.
- Гауссиана (сплат)
- одна цветная полупрозрачная «капля» — атом такой сцены.
- Радианс
- то, как поверхность выглядит с разных углов — включая блики и отражения.
- Конвертация в сетку (meshing)
- извлечение полигонов из сплата или NeRF; возможно, но с потерей качества.
Что запомнить
- NeRF (2020) и Gaussian Splatting (2023) восстанавливают сцену по фото и видео.
- Сплаты рендерятся в реальном времени и почти вытеснили NeRF на практике.
- Блики, стекло и тонкие детали они передают лучше фотограмметрии.
- Это инструмент визуализации, а не источник готовой сетки.
- Для печати и правки нужна конвертация в полигоны с последующей чисткой.
- Качество решает съёмка: перекрытие 60–80%, резкость, стабильный свет.
FAQЧастые вопросы
Можно ли напечатать объект из NeRF или сплата?
Не напрямую. Сначала конвертация в сетку и серьёзная чистка, потом подготовка к печати. Для печатной геометрии фотограмметрия обычно даёт результат лучше.
Что лучше — сплаты или фотограмметрия?
Для визуализации сцен, бликов и стекла — сплаты. Для редактируемой точной модели объекта — фотограмметрия. Их часто совмещают.
Чем сплаты лучше NeRF?
Скоростью: рендер в реальном времени против прогона нейросети на каждый кадр при сравнимом качестве. Поэтому в прикладных задачах сплаты победили.
Нужно ли дорогое оборудование?
Часто хватает хорошей съёмки на телефон плюс ПК с игровой видеокартой для обработки. Часть сервисов считает в облаке — тогда достаточно телефона.
Комментарии
Загрузка…