hepatoАнналы хирургической гепатологииAnnaly khirurgicheskoy gepatologii = Annals of HPB Surgery1995-54642408-9524НЭИКОН ИСП10.16931/1995-5464.2023-1-62-70hepato-970Research ArticleНОВЫЕ ТЕХНОЛОГИИNEW TECHNOLOGIESПервый опыт применения технологии дополненной реальности при лапароскопических операциях на печени и поджелудочной железеFirst experience of using augmented reality technology in liver and pancreas laparoscopyhttps://orcid.org/0000-0001-8539-4392ПанченковД. Н.PanchenkovD. N.

Панченков Дмитрий Николаевич – доктор мед. наук, профессор, заведующий кафедрой хирургии и хирургических технологий ФДПО, заведующий лабораторией минимально инвазивной хирургии

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Dmitry N. Panchenkov – Doct. of Sci. (Med.), Head of Department of Surgery and Surgical Technologies, Faculty of Advanced Professional Education, Head of Laboratory of Minimally Invasive Surgery, TECHNOBIOMED Research Institute

1a, b. 4, Kuskovskaya str., Moscow, 111398

dnpanchenkov@mail.ruhttps://orcid.org/0000-0003-4555-5184АбдулкеримовЗ. А.AbdulkerimovZ. A.

Абдулкеримов Зайпулла Ахмедович – канд. мед. наук, доцент кафедры хирургии и хирургических технологий ФДПО, заведующий хирургическим отделением №1 Университетской клиники

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Zaypulla A. Abdulkerimov – Cand. of Sci. (Med.), Associate Professor, Department of Surgery and Surgical Technologies, Faculty of Advanced Professional Education, Head of Surgical Unit No. 1, University Clinic

1a, b. 4, Kuskovskaya str., Moscow, 111398

dr-zay@yandex.ruhttps://orcid.org/0000-0003-3246-7337СеменякинИ. В.SemeniakinI. V.

Семенякин Игорь Владимирович – доктор мед. наук, профессор кафедры госпитальной хирургии

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Igor V. Semeniakin – Doct. of Sci. (Med.), Professor, Hospital Surgery Department

1a, b. 4, Kuskovskaya str., Moscow, 111398

iceig@mail.ruhttps://orcid.org/0000-0002-9989-7879ГабдуллинА. Ф.GabdullinA. F.

Габдуллин Амир Фаильевич – врач-уролог урологического отделения Университетской клиники

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Amir F. Gabdullin – Urologist, Urological Unit of University Clinic

1a, b. 4, Kuskovskaya str., Moscow, 111398

dr.gabdullin@gmail.comhttps://orcid.org/0000-0001-8207-7180ГригорьеваЕ. В.GrigorievaE. V.

Григорьева Елена Владимировна – доктор мед. наук, заведующая отделением лучевой диагностики Университетской клиники

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Elena V. Grigorieva – Doct. of Sci. (Med.), Head of Diagnostic Radiology Unit, University Clinic

1a, b. 4, Kuskovskaya str., Moscow, 111398

iara333@yahoo.comhttps://orcid.org/0000-0001-6892-9324КлимовД. Д.KlimovD. D.

Климов Даниил Дмитриевич – канд. техн. наук, заведующий лабораторией медико-роботических цифровых технологий

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Daniil D. Klimov – Cand. of Sci. (Techn.), Head of Laboratory of Medical and Robotic Digital Technologies, TECHNOBIOMED Research Institute

1a, b. 4, Kuskovskaya str., Moscow, 111398

daniil.klimov@gmail.comhttps://orcid.org/0000-0002-9411-5655ПрохоренкоЛ. С.ProkhorenkoL. S.

Прохоренко Леонид Сергеевич – младший научный сотрудник лаборатории медико-роботических цифровых технологий

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Leonid S. Prokhorenko – Junior Laboratory Researcher

1a, b. 4, Kuskovskaya str., Moscow, 111398

pro.leonid@gmail.comhttps://orcid.org/0000-0001-7641-6975ГрицаенкоА. И.GritsaenkoA. I.

Грицаенко Андрей Иванович – канд. мед. наук, ведущий научный сотрудник лаборатории минимально инвазивной хирургии

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Andrey I. Gritsaenko – Cand. of Sci. (Med.), Senior Laboratory Researcher, Laboratory of Minimally Invasive Surgery

1a, b. 4, Kuskovskaya str., Moscow, 111398

oper.ai@mail.ruЛискевичР. В.LiskevichR. V.

Лискевич Роман Витальевич – канд. мед. наук, ассистент кафедры хирургии и хирургических технологий ФДПО, врач хирург хирургического отделения №1 Университетской клиники

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Roman V. Liskevich – Cand. of Sci. (Med.), Research Assistant, Department of Surgery and Surgical Technologies, Faculty of Advanced Professional Education, Surgeon, Surgery Unit No. 1, University Clinic

1a, b. 4, Kuskovskaya str., Moscow, 111398

iluchistij@mail.ruhttps://orcid.org/0000-0001-5467-0737ТупикинК. А.TupikinK. A.

Тупикин Кирилл Алексеевич – канд. мед. наук, ассистент кафедры хирургии и хирургических технологий ФДПО, врач-хирург хирургического отделения №1 Университетской клиники 

111398 Москва, ул. Кусковская, д. 1а, стр. 4

Тел.: +7-909-382-42-34

Kirill A. Tupikin – Cand. of Sci. (Med.), Research Assistant, Department of Surgery and Surgical Technologies, Faculty of Advanced Professional Education, Surgeon, Surgery Unit No. 1

1a, b. 4, Kuskovskaya str., Moscow, 111398

Phone: +7-909-382-42-34

kirilltupikin87@gmail.comФГБОУ ВО “Московский государственный медико-стоматологический университет им. А.И. Евдокимова” Минздрава РоссииРоссияA.I. Evdokimov Moscow State University of Medicine and Dentistry of the Ministry of Healthcare of the Russian FederationRussian Federation2023190320232816270Copyright © Панченков Д.Н., Абдулкеримов З.А., Семенякин И.В., Габдуллин А.Ф., Григорьева Е.В., Климов Д.Д., Прохоренко Л.С., Грицаенко А.И., Лискевич Р.В., Тупикин К.А., 20232023Панченков Д.Н., Абдулкеримов З.А., Семенякин И.В., Габдуллин А.Ф., Григорьева Е.В., Климов Д.Д., Прохоренко Л.С., Грицаенко А.И., Лискевич Р.В., Тупикин К.А.Panchenkov D.N., Abdulkerimov Z.A., Semeniakin I.V., Gabdullin A.F., Grigorieva E.V., Klimov D.D., Prokhorenko L.S., Gritsaenko A.I., Liskevich R.V., Tupikin K.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://hepato.elpub.ru/jour/article/view/970Цель

Цель. Описание опыта применения системы смешанной реальности при операциях на органах брюшной полости в условиях одного центра.

Материал и методы

Материал и методы. В 2021–2022 гг. с применением технологии дополненной реальности лапароскопически оперировано 5 пациентов. Выполнили эхинококкэктомию с резекцией IV, V, VI сегментов печени, панкреатодуоденальную резекцию по поводу рака головки поджелудочной железы, иссечение кисты брыжейки тонкой кишки, резекцию тела и хвоста поджелудочной железы по поводу нейроэндокринной опухоли.

Результаты

Результаты. При использовании 3D-моделей требовалось некоторое время для надевания очков, масштабирования модели и ее наложения на экранное изображение, что иногда увеличивало время операции до 25 мин. В ряде операций применение дополненной реальности облегчило хирургу ориентировку при работе около сосудистых структур. После просмотра АR-модели хирург чувствовал себя более уверенно с точки зрения индивидуальной анатомии.

Заключение

Заключение. Дополненная реальность может стать надежным и перспективным инструментом в абдоминальной хирургии. Тем не менее необходимо дальнейшее технологическое совершенствование систем дополненной реальности для увеличения их производительности.

Aim

Aim. To describe the experience of using augmented reality system in abdominal surgery at one clinical center.

Materials and methods

Materials and methods. In 2021–2022, five patients underwent laparoscopy with augmented reality technology. The interventions included echinococcectomy with resection of IV, V, VI liver segments, pancreaticoduodenal resection for pancreatic head cancer, excision of mesostenium cyst, resection of pancreas body and tail for neuroendocrine tumor.

Results

Results. Application of 3D models requires putting on glasses, scaling and setting a model on the screen image, which sometimes prolonged surgery time to 25 minutes. In a number of operations the use of augmented reality navigated the surgeon when working near vascular structures. After looking through the AR model, a surgeon felt more confident in terms of individual anatomy.

Conclusion

Conclusion. Augmented reality can become a reliable and promising tool in abdominal surgery. However, further technological development in augmented reality systems is needed to increase their performance.

виртуальная реальностьдополненная реальностьсмешанная реальностьабдоминальная хирургия3D-модельvirtual realityaugmented realitymixed realityabdominal surgery3D modelИсследование выполнено при поддержке Министерства здравоохранения Российской Федерации в рамках государственного контракта № 056-00035-21-00 от 17 декабря 2020 г.ReferencesWake N., Wysock J.S., Bjurlin M.A., Chandarana H., HuangW.C. «Pin the tumor on the kidney» an evaluation of how surgeons translate CT and MRI data to 3D models. Urology. 2019; 131: 255–261. DOI:10.1016/j.urology.2019.06.016Wake N., Wysock J.S., Bjurlin M.A., et al. Pin the tumor on the kidney: an evaluation of how surgeons translate CT and MRI data to 3D models. Urology. 2019; 131: 255–61Bernhard J.C., Isotani Sh.,Matsugasumi T., Duddalwar V., Hung A.J., Suer E., Baco E., Satkunasivam R., Djaladat H., Metcalfe Ch., Hu B., Wong K., Park D., Nguyen M., Hwang D., Bazargani S.T., de Castro Abreu A.L., Aron M., Ukimura O., Gill I.S. Personalized 3D printed model of kidney and tumor anatomy: a useful tool for patient education. World J. Urol. 2016; 34(3): 337–345. DOI: 10.1007/s00345-015-1632-2Bernhard J.C., Isotani S., Matsugasumi T., et al. Personalized 3D printed model of kidney and tumor anatomy: a useful tool for patient education. World J Urol. 2016; 34: 337–45.Silberstein J.L., Maddox M.M., Dorsey Ph., Feibus A., Thomas R., Lee B.R. Physical models of renal malignancies using standard cross-sectional imaging and 3-dimensional printers: a pilot study. Urology. 2014; 84(2): 268–272. DOI:10.1016/j.urology.2014.03.042Silberstein J.L., Maddox M.M., Dorsey P., et al. Physical models of renal malignancies using standard cross-sectional imaging and 3-dimensional printers: a pilot study. Urology. 2014; 84: 268–72Rosen J.M, Soltanian H., Redett R.J., Laub D.R. Evolution of virtual reality. IEEE Eng. Med. Biol. Mag. 1996; 15(2): 16–22Pensieri C, Pennacchini M, Sivan Y, Gefen D, Boulos MK, Claudio P, Maddalena P: Overview: Virtual reality in medicine. J Virtual Worlds Res 7:1–34, 2014Heilig M.L. Stereoscopic-television apparatus for individual use. US Patent, US2955156A 1960 2: 155–156Healthcare Augmented & Virtual Reality Market Worth $5.1 Billion By 2025. https://www.grandviewresearch.com/press-release/global-augmented-reality-ar-virtual-reality-vrin-healthcare-market. Accessed January 2018Brigham T.J. Reality Check: Basics of Augmented, Virtual, and Mixed Reality. Med Ref Serv Q. 2017 Apr-Jun;36(2):171-178. doi: 10.1080/02763869.2017.1293987.Rosen JM, Soltanian H, Redett RJ, Laub DR: Evolution of virtual reality. IEEE Eng Med Biol Mag 15:16–22, 1996Microsoft About HoloLens 2, https://docs.microsoft.com/en-us/hololens/hololens2-hardware (accessed September 23 2021), https://docs.microsoft.comHeilig ML: Stereoscopic-television apparatus for individual use. US Patent 2:955–156, 1960Van der Putten K., AndersonM. B., van GeenenR. C.Case Report: Looking through the Lens: The Reality of Telesurgical Support with Interactive Technology Using Microsoft’s HoloLens 2. Case Rep. Orthop. 2022;2022:5766340. doi: 10.1155/2022/5766340.Tara J. Brigham (2017) Reality Check: Basics of Augmented, Virtual, and Mixed Reality, Medical Reference Services Quarterly, 36:2, 171-178, DOI:10.1080/02763869.2017.1293987Vavra P., Roman J., Zonca P., Ihnat P., Nemec M., Kumar J., Habib N., El-Gendi A. Recent development of augmented reality in surgery: a review. J. Healthc. Eng. 2017;2017:4574172. doi: 10.1155/2017/4574172Microsoft. About HoloLens 2, 2021, https://docs.microsoft.com/en-us/hololens/hololens2-hardware (accessed September 23 2021)Lysenko A, Razumova A, Yaremenko A, Ivanov V, Strelkov S, Krivtsov A. The use of augmented reality navigation technology in combination with endoscopic surgery for the treatment of an odontogenic cyst of the upper jaw: A technical report. Imaging Sci Dent. 2022 Jun;52(2):225-230. doi: 10.5624/isd.20210256Case Report: Looking through the Lens: The Reality of Telesurgical Support with Interactive Technology Using Microsoft’s HoloLens 2 K. van der Putten, M. B. Anderson, R. C. van Geenen, Case Reports in Orthopedics Volume 2022, Article ID 5766340, 5 pages https://doi.org/10.1155/2022/5766340 Received 6 December 2021; Revised 14 February 2022; Accepted 16 February 2022; Published 1 March 2022Cutolo F., Parchi P.D., Ferrari V. Video see through AR head-mounted display for medical procedures. In: 2014 IEEE international symposium on mixed and augmented reality (ISMAR), 10–12 Sept. 2014: 393–396. https://doi.org/10.1109/ismar.2014.6948504Vavra P, Roman J, Zonca P, Ihnat P, Nemec M, Kumar J, Habib N, El-Gendi A (2017) Recent development of augmented reality in surgery: a review. J Healthc Eng. https://doi.org/10.1155/2017/4574172Navab N., Traub J., Sielhorst T., Feuerstein M., Bichlmeier C. Action- and workfow-driven augmented reality for computeraided medical procedures. IEEE Comput Graph.2007. 27(5):10–14. https://doi.org/10.1109/Mcg.2007.117Cutolo F, Parchi PD, Ferrari V (2014) Video see through AR head-mounted display for medical procedures. In: 2014 IEEE international symposium on mixed and augmented reality (ISMAR), 10–12 Sept 2014, pp 393–396. https://doi.org/10.1109/ismar.2014.6948504Cutolo F. Augmented reality in image-guided surgery. In: Lee N. Encyclopedia of computer graphics and games. Springer, Cham, P. 1–11. https://doi.org/10.1007/978-3-319-08234-9_78-1Navab N, Traub J, Sielhorst T, Feuerstein M, Bichlmeier C (2007) Action- and workfow-driven augmented reality for computeraided medical procedures. IEEE Comput Graph 27(5):10–14. https://doi.org/10.1109/Mcg.2007.117Haouchine N., Dequidt J., Berger M.O., Cotin S. Deformation-based augmented reality for hepatic surgery. Stud. Health Technol. Inform, 2013; 184:182–188Cutolo F Augmented reality in image-guided surgery. In: Lee N. Encyclopedia of computer graphics and games. Springer, Cham, pp 1–11. https://doi.org/10.1007/978-3-319-08234-9_78-1Sauer I.M., Queisner M., Tang P., Moosburner S., Hoepfner O., Horner R., Lohmann R., PratschkeJ. Mixed reality in visceral surgery: development of a suitable workflow and evaluation of intraoperative use-cases. Ann. Surg. 2017;266(5):706-712. doi: 10.1097/SLA.0000000000002448.Haouchine N, Dequidt J, Berger MO, Cotin S (2013) Deformationbased augmented reality for hepatic surgery. Stud Health Technol Inf 184:182–188Huber T., Hadzijusufovic E., Hansen Ch., Paschold M., Lang H., KneistW.. Head-mounted mixed-reality technology during robotic-assisted transanal total mesorectal excision. Dis. Colon. Rectum. 2019;62(2):258-261. doi: 10.1097/DCR.0000000000001282..Sauer IM, Queisner M, Tang P, et al. Mixed reality in visceral surgery: development of a suitable workflow and evaluation of intraoperative usecases. Ann Surg. 2017;266:706–712.Mönch J., Mühler K., Hansen Ch., Oldhafer K.-J., Stavrou G., Hillert Ch., Logge Ch., Preim B. The LiverSurgeryTrainer: training of computer-based planning in liver resection surgery. Int. J. Comput. Assist. Radiol. Surg. 2013;8(5):809-818. doi: 10.1007/s11548-013-0812-z.Huber T, Hadzijusufovic E, Hansen C, et al. Head-mounted mixed-reality technology during robotic-assisted transanal total mesorectal excision. Dis Colon Rectum. 2019;62:258– 261.Okamoto T., Onda S., Yasuda J., Yanaga K., Suzuki N., Hattori A. Navigation surgery using an augmented reality for pancreatectomy. Dig. Surg. 2015;32(2):117–123. https://doi.org/10.1159/000371860Lang H, Radtke A, Hindennach M, et al. Impact of virtual tumor resection and computerassisted risk analysis on operation planning and intraoperative strategy in major hepatic resection. Arch Surg. 2005;140:629–638 [discussion 38Onda S., Okamoto T., Kanehira M., Fujioka S., Suzuki N., Hattori A., Yanaga K. Short rigid scope and stereo-scope designed specifically for open abdominal navigation surgery: clinicalMonch J, Muhler K, Hansen C, et al. The LiverSurgeryTrainer: training of computer-based planning in liver resection surgery. Int J Comput Assist Radiol Surg. 2013;8:809–818.application for hepatobiliary and pancreatic surgery. J. Hepatobiliary Pancreat. Sci. 2013;20(4):448–453. https://doi.org/10.1007/s00534-012-0582-yPeterhans M, Oliveira T, Banz V, et al. Computerassisted liver surgery: clinical applications and technological trends. Crit Rev Biomed Eng. 2012;40:199–220Ntourakis D., Memeo R., Soler L., Marescaux J., Mutter D., Pessaux P. Augmented reality guidance for the resection of missing colorectal liver metastases: an initial experience. World J. Surg. 201640(2):419–426. https://doi.org/10.1007/s00268-015-3229-8Hauke LangY Tobias Huber Department of General, Visceral and Transplant Surgery, University Medical Center of the Johannes Gutenberg-University Mainz, Mainz, Germany. YHauke.Lang@unimedizin-mainz.deOkamoto T, Onda S., Matsumoto M., Gocho T., Futagawa Y., Fujioka S., Yanaga K., Suzuki N., Hattori A. Utility of augmented reality system in hepatobiliary surgery. J. Hepatobiliary Pancreat. Sci. 2013; 20(2):249–253. https://doi.org/10.1007/s00534-012-0504-zOkamoto T, Onda S, Yasuda J, Yanaga K, Suzuki N, Hattori A (2015) Navigation surgery using an augmented reality for pancreatectomy. Dig Surg 32(2):117–123. https://doi.org/10.1159/000371860Tang R., Ma L., Xiang C., Wang X., Li A., Liao H., Dong J. Augmented reality navigation in open surgery for hilar cholangiocarcinoma resection with hemihepatectomy using video-based in situ three-dimensional anatomical modeling: a case report. Medicine (Baltimore) 2017;96(37):e8083. ttps://doi.org/10.1097/MD.0000000000008083].Onda S, Okamoto T, Kanehira M, Fujioka S, Suzuki N, Hattori A, Yanaga K (2013) Short rigid scope and stereo-scope designed specifically for open abdominal navigation surgery: clinicalapplication for hepatobiliary and pancreatic surgery. J Hepatobiliary Pancreat Sci 20(4):448–453. https://doi.org/10.1007/s00534-012-0582-yapplication for hepatobiliary and pancreatic surgery. J Hepatobiliary Pancreat Sci 20(4):448–453. https://doi.org/10.1007/s00534-012-0582-yNtourakis D, Memeo R, Soler L, Marescaux J, Mutter D, Pessaux P (2016) Augmented reality guidance for the resection of missing colorectal liver metastases: an initial experience. World J Surg 40(2):419–426. https://doi.org/10.1007/s00268-015-3229-8Ntourakis D, Memeo R, Soler L, Marescaux J, Mutter D, Pessaux P (2016) Augmented reality guidance for the resection of missing colorectal liver metastases: an initial experience. World J Surg 40(2):419–426. https://doi.org/10.1007/s00268-015-3229-8Okamoto T, Onda S, Matsumoto M, Gocho T, Futagawa Y, Fujioka S, Yanaga K, Suzuki N, Hattori A (2013) Utility of augmented reality system in hepatobiliary surgery. J Hepatobiliary Pancreat Sci 20(2):249–253. https://doi.org/10.1007/s00534-012-0504-zOkamoto T, Onda S, Matsumoto M, Gocho T, Futagawa Y, Fujioka S, Yanaga K, Suzuki N, Hattori A (2013) Utility of augmented reality system in hepatobiliary surgery. J Hepatobiliary Pancreat Sci 20(2):249–253. https://doi.org/10.1007/s00534-012-0504-zTang R, Ma L, Xiang C, Wang X, Li A, Liao H, Dong J (2017)Augmented reality navigation in open surgery for hilar cholangiocarcinoma resection with hemihepatectomy using video-based in situ three-dimensional anatomical modeling: a case report. Medicine (Baltimore) 96(37):e8083. ttps://doi.org/10.1097/MD.0000000000008083].Tang R, Ma L, Xiang C, Wang X, Li A, Liao H, Dong J (2017)Augmented reality navigation in open surgery for hilar cholangiocarcinoma resection with hemihepatectomy using video-based in situ three-dimensional anatomical modeling: a case report. Medicine (Baltimore) 96(37):e8083. ttps://doi.org/10.1097/MD.0000000000008083].

The authors declare that there are no conflicts of interest present.