Математическая физика и компьютерное моделирование2587-63252587-690210.15688/mpcm.jvolsu.2023.4.3OtherПостроение 3D модели объекта по набору его изображений при помощи нейронной сети на базе алгоритмаBuilding a 3D-Model of an Object from a Set of Its Images Using a Neural Network Based on the NeRF AlgorithmДрябаАлександр ЮрьевичDryabaAlexander Yu.casha.dryaba@mail.ruhttps://orcid.org/0009-0002-9587-9179Volgograd State University(Volgograd, Russian Federation)Волгоградский государственный университет(г. Волгоград, Российская Федерация)1012202326431422007202301102023https://creativecommons.org/licenses/by/4.0/CC BY 4.0

В работе представлены способы реконструирования трехмерных моделей объектов по набору плоских изображений с использованием алгоритма NeRF для получения представления объемной сцены в виде весов многослойного перцептрона. Для каждого способа прилагается оценка затрачиваемого времени. Исходя из полученных данных можно сделать вывод о возможности распознавания форм объектов из естественной обстановки в пределах 5–10 минут, при условии переноса шага обучения нейронной сети на сторону сервера.

The work was conducted as part of the development of a computer vision system for analyzing the environment, which could be utilized, for instance, by an autonomous mobile robot. This system involves using a camera to gather information about the surrounding environment. The paper presents methods for reconstructing three-dimensional models of objects solely from a set of 2D-images, using the NeRF algorithm to obtain a representation of a three-dimensional scene in the form of weights of a multilayer perceptron. Each method includes an estimate of the algorithm’s time consumption. Based on the data obtained, it was concluded that it is feasible to recognize the shapes of objects from a natural environment within 5–10 minutes, provided that the neural network training step is transferred to the server side.

3D реконструкцияNeRFкарта глубинMLP, объемный рендеринг3D-reconstructionNeRFdepth mapMLP, volume renderingГадасин, Д. В. Трехмерная реконструкция объекта по одному изображению с использованием глубоких сверточных нейронных сетей / Д. В. Гадасин, А. В. Шведов, И. А. Кузин // T-Comm: телекоммуникации и транспорт. — 2022. — Т. 16, № 7. — C. 29–34. — DOI: http://dx.doi.org/10.36724/2072-8735-2022-16-7-29-35Камеры глубины — тихая революция (когда роботы будут видеть). Ч. 1. — Электрон. текстовые дан. — Режим доступа: https://habr.com/ru/articles/457524. — Загл. с экрана.Клячин, А. А. Алгоритм восстановления поверхности объекта по его изображению / А. А. Клячин, В. А. Клячин // Математическая физика и компьютерное моделирование. — 2021. — Т. 24, № 1. — C. 16–24. — DOI: https://doi.org/10.15688/mpcm.jvolsu.2021.1.2Клячин, А. А. Теоремы существования и единственности решения обратных задач проективной геометрии для 3D реконструкции по фотоснимкам / А. А. Клячин, В. А. Клячин // Чебышевский сборник. — 2020. — Т. 21, № 4. — C. 117–128. — DOI: https://doi.org/10.22405/2226-8383-2020-21-4-117-128Клячин, В. А. Алгоритм 3D реконструкции поверхности вращения по ее проекции / В. А. Клячин, Е. Г. Григорьева // Сибирский журнал индустриальной математики. — 2020. — Т. 23, № 1. — C. 84–92. — DOI: https://doi.org/10.33048/SIBJIM.2020.23.108Клячин, В. А. Теоремы единственности восстановления прообраза при вырожденном преобразовании / В. А. Клячин, Е. Г. Григорьева // Математическая физика и компьютерное моделирование. — 2022. — Т. 25, № 2. — C. 17–22. — DOI: https://doi.org/10.15688/mpcm.jvolsu.2022.2.2Реализация архитектуры Tiny NeRF. — Электрон. текстовые дан. — Режим доступа: https://github.com/bmild/nerf/blob/master/tiny_nerf.ipynb. — Загл. с экрана.Few-Shot Single-View 3D Reconstruction with Memory Prior Contrastive Network / Z. Xing, Y. J. Chen, Z. X. Ling, X. D. Zhou, Y. Xiang // ECCV 2022: Computer Vision — ECCV 2022. — 2022. — № 1. — P. 55–70. — DOI: https://doi.org/10.1007/978-3-031-19769-7_4Jackson, A. S. Learning Deep Architectures for AI / A. S. Jackson // Foundations. — 2009. — № 2. — P. 1–55. — DOI: http://dx.doi.org/10.1561/2200000006Large Pose 3D Face Reconstruction from a Single Image Via Direct Volumetric CNN Regression / A. S. Jackson, A. Bulat, V. Argyriou, G. Tzimiropoulos // 2017 IEEE International Conference on Computer Vision (ICCV). — 2017. — P. 1031–1039. — DOI: http://dx.doi.org/10.1109/ICCV.2017.117Multilayer Perceptron Explained with a Real-Life Example and Python Code: Sentiment Analysis. — Electronic text data. — Mode of access: https://towardsdatascience.com/multilayerperceptron-explained-with-a-real-life-example-and-python-code-sentiment-analysiscb408ee93141. — Title from screen.NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis / B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, R. Ng // Computer Vision − ECCV 2020. — 2020. — № 12346. — P. 405–421. — DOI: https://doi.org/10.1007/978-3-030-58452-8_24Neural 3D Reconstruction in the Wild / J. M. Sun, X. Chen, Q. Q. Wang, Z. Q. Li, H. Averbuch-Elor, X. W. Zhou, N. Snavely // ACM SIGGRAPH 2022 Conference Proceedings. — NY : Association for Computing Machinery, 2022. — P. 1–9. — DOI: https://doi.org/10.1145/3528233.3530718RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation / T. Anciukevicius, Z. X. Xu, M. Fisher, P. Henderson, H. Bilen, N. J. Mitra, P. Guerrero // CVPR 2023: IEEE Conference on Computer Vision and Pattern Recognition. — 2023. — P. 12608–12618. — DOI: https://doi.org/10.1109/CVPR52729.2023.01213Gadasin D.V., Shvedov A.V., Kuzin I.A. Trekhmernaya rekonstruktsiya obyekta po odnomu izobrazheniyu s ispolzovaniem glubokikh svyortochnykh neyronnykh setey [ThreeDimentional Reconstruction of an Object From a Single Image Using Deep Convolutional Neural Networks]. T-Comm: telekommunikatsii i transport, 2022, vol. 16, no. 7, pp. 29-34. DOI: http://dx.doi.org/10.36724/2072-8735-2022-16-7-29-35Kamery glubiny — tikhaya revolyutsiya (kogda roboty budut videt). Ch. 1 [Depth Cameras − a Silent Revolution (When Robots Could See). Part 1]. URL: https://habr.com/ru/articles/457524Klyachin A.A., Klyachin V.A. Algoritm vosstanovleniya poverkhnosti obyekta po ego izobrazheniyu [Algorithm for Restoring the Surface of an Object from its Image]. Matematicheskaya fizika i kompyuternoe modelirovanie [Mathematical Physics and Computer Simulation], 2021, vol. 24, no. 1, pp. 16-24. DOI: https://doi.org/10.15688/mpcm.jvolsu.2021.1.2Klyachin A.A., Klyachin V.A. Teoremy sushchestvovaniya i edinstvennosti resheniya obratnykh zadach proektivnoy geometrii dlya 3D rekonstruktsii po fotosnimkam [Existence and Uniqueness Theorems for Solutions of Inverse Problems of Projective Geometry for 3D Reconstruction from Photographs]. Chebyshevskiy sbornik, 2020, vol. 21, no. 4, pp. 117-128. DOI: https://doi.org/10.22405/2226-8383-2020-21-4-117-128Klyachin V.A., Grigoryeva E.G. Algoritm 3D rekonstruktsii poverkhnosti vrashcheniya po eyo proektsii [A 3D Reconstruction Algorithm of a Surface of Revolution from its Projection]. Sibirskiy zhurnal industrialnoy matematiki [Journal of Applied and Industrial Mathematics], 2020, vol. 23, no. 1, pp. 84-92. DOI: https://doi.org/10.33048/SIBJIM.2020.23.108Klyachin V.A., Grigoryeva E.G. Teoremy edinstvennosti vosstanovleniya proobraza pri vyrozhdennom preobrazovanii [Uniqueness Theorem of Reconstruction of Preimage by its Image under Degenerate Mapping]. Matematicheskaya fizika i kompyuternoe modelirovanie [Mathematical Physics and Computer Simulation], 2022, vol. 25, no. 2, pp. 17-22. DOI: https://doi.org/10.15688/mpcm.jvolsu.2022.2.2Realizatsiya arkhitektury Tiny NeRF [Tiny NeRF Implementation]. URL: https://github.com/bmild/nerf/blob/master/tiny_nerf.ipynbXing Z., Chen Y.J., Ling Z.X., Zhou X.D., Xiang Y. Few-Shot Single-View 3D Reconstruction with Memory Prior Contrastive Network. ECCV 2022: Computer Vision — ECCV 2022, 2022, no. 1, pp. 55-70. DOI: https://doi.org/10.1007/978-3-031-19769-7_4Jackson A.S. Learning Deep Architectures for AI. Foundations, 2009, no. 2, pp. 1-55. DOI: http://dx.doi.org/10.1561/2200000006Jackson A.S., Bulat A., Argyriou V., Tzimiropoulos G. Large Pose 3D Face Reconstruction From a Single Image Via Direct Volumetric CNN Regression. 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 1031-1039. DOI: http://dx.doi.org/10.1109/ICCV.2017.117Multilayer Perceptron Explained with a Real-Life Example and Python Code: Sentiment Analysis. URL: https://towardsdatascience.com/multilayer-perceptron-explainedwith-a-real-life-example-and-python-code-sentiment-analysis-cb408ee93141Mildenhall B., Srinivasan P.P., Tancik M., Barron J.T., Ramamoorthi R., Ng R. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Computer Vision − ECCV 2020, 2020, no. 12346, pp. 405-421. DOI: https://doi.org/10.1007/978-3-030-58452-8_24Sun J.M., Chen X., Wang Q.Q., Li Z.Q., Averbuch-Elor H., Zhou X.W., Snavely N. Neural 3D Reconstruction in the Wild. ACM SIGGRAPH 2022 Conference Proceedings. NY, Association for Computing Machinery, 2022, pp. 1-9. DOI: https://doi.org/10.1145/3528233.3530718Anciukevicius T., Xu Z.X., Fisher M., Henderson P., Bilen H., Mitra N.J., Guerrero P. RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation. CVPR 2023: IEEE Conference on Computer Vision and Pattern Recognition, 2023, pp. 12608-12618. DOI: https://doi.org/10.1109/CVPR52729.2023.01213