Pix2Vox: Контекстно-зависимая 3D-реконструкция по одно- и многовидовым изображениям

• Предлагается новый фреймворк для трехмерной реконструкции изображений с одного и нескольких ракурсов, называемый "преобразование пикселей в воксели".  

• Используются рекуррентные нейронные сети для последовательного объединения карт объектов, извлеченных из входных изображений.  

• Однако методы, основанные на RNN, имеют ограничения: дисперсия перестановок, долговременная потеря памяти и время обработки.  

• Модуль слияния с учетом контекста выбирает высококачественные реконструкции из всех трехмерных томов курса и генерирует объединенный трехмерный том.  

• Специалист по рафинированию исправляет неправильно восстановленные части слитых трехмерных томов для получения более точной реконструкции.  

• Результаты реконструкции с одного вида на тестовом наборе ShapeNet показывают, что преобразование пикселя в воксель A лучше восстанавливает трехмерную форму объекта, чем другие методы.  

• При реконструкции с несколькими видами, пиксель-в-воксель A и пиксель-в-воксель F последовательно превосходят три D два N два по всем показателям.  

• При реконструкции с несколькими видами, предлагаемые методы лучше справляются с восстановлением трехмерных форм объектов реального мира.  

• Модуль слияния генерирует высококачественные результаты для реконструкции с несколькими видами.  

• Предлагаемые методы быстрее, чем современные методы, и используют информацию о нескольких видах для восстановления структуры объекта.