Development of simulation of paracentesis with Mixed Reality Technology
Objective: Augmented reality (AR), mixed reality (XR) and virtual reality (VR) from innovative technologies have been used in medical education in recent years. However, there is no simulation program in the field of pediatric surgery with dynamic and interactive scenes. In our project, we aimed to develop a program that provides both instructive and realistic experience by simulating the procedure of paracentesis, one of the pediatric surgery emergency interventions, with mixed reality technology.
Method: The materials to be used during paracentesis and 3D scene elements such as the appearance of the internal organs during the steps were created with the MAYA modeling program. After the scene flow and interactions were written in C# (C-sharp) computer software language, a 3D scene experience was created by running it on the "Unity" game engine. The created simulation program was rehearsed with Microsoft Hololens 1, one of the augmented and mixed reality vision systems, to be experienced with maximum comfort and fluency.
Results: Paracentesis procedure simulation; It was designed with a stepped interactive scenario accompanied by pediatric surgeon, pediatric intensive care unit specialist and medical education specialist. Alternative options that the student may encounter at each step of the procedure are included in the scenario flow. The main template of the simulation program was created in accordance with the principles in the health simulation preparation guidelines. By creating both training and exam versions of the simulation program, it is aimed that students can test their knowledge and skills.
Conclusion: Virtual reality and mixed reality technologies are promising in terms of providing realistic experience and 3-dimensional learning convenience in company with wearable vision systems. In our project, from the materials to be used in the paracentesis procedure to the anatomically correct execution, the holographic simulation has shown that it can have a great place in our goal of leading the modern education.
Keywords: medical simulation
Amaç: Yenilikçi teknolojilerden arttırılmış gerçeklik (AR), karma gerçeklik (XR) ve sanal gerçeklik (VR) son yıllarda tıp eğitiminde kullanılmaya başlanmıştır. Bununla birlikte çocuk cerrahisi alanında ve dinamik, interaktif sahneli bir simülasyon programı bulunmamaktadır. Projemizde biz çocuk cerrahisi acil girişimlerinden parasentez işlemi prosedürünü baştan sona karma gerçeklik teknolojisiyle simüle ederek hem öğretici hem de gerçekçi deneyim sağlayıcı bir program geliştirmeyi hedefledik.
Yöntem: Parasentez işlemi sırasında kullanılacak malzemeler, adölesan birey, basamaklar esnasında iç organların görünümü gibi 3 boyutlu sahne elemanları, MAYA modelleme programı ile oluşturuldu. Sahne akışı ve etkileşimler C# (C-sharp) bilgisayar yazılım dili ile yazıldıktan sonra, ‘’Unity’’ oyun motorunda çalıştırılarak 3 boyutlu sahne deneyimi oluşturuldu. Oluşturulan simülasyon programı, maksimum konfor ve akıcılık ile deneyimlenmek üzere arttırılmış ve karma gerçeklik görüş sistemlerinden Microsoft Hololens 1 eşliğinde prova edildi.
Bulgular: Parasentez işlemi simülasyonu; çocuk cerrahisi, çocuk yoğunbakım uzmanı ve tıp eğitimi uzmanı eşliğinde basamaklandırılmış interaktif senaryo eşliğinde dizayn edilmiştir. Prosedürün her adımında öğrencinin karşısına çıkabilecek alternatif seçeneklere senaryo akışında yer verilmiştir. Simülasyon programının ana şablonu ise sağlık simülasyonu hazırlama kılavuzlarındaki ilkelere uygun olarak oluşturulmuştur. Simülasyon programının hem eğitim hem de sınav versiyonu oluşturularak, öğrencilerin elde ettiği bilgi ve beceriyi test edebilmesi amaçlanmıştır.
Sonuç: Arttırılmış gerçeklik ve karma gerçeklik teknolojileri giyilebilir görüş sistemleri eşliğinde gerçekçi deneyim ve 3 boyutlu öğrenme kolaylığı sağlaması açısından gelecek vadetmektedir. Bizim projemizde prosedürde kullanılacak malzemelerden, anatomik olarak işlemin doğru yapılmasına kadar, gerçek hastadan önce hologram hasta üzerinde bilgi ve beceri gelişimi imkanı sunarak, modern eğitim sistemi dönüşümüne öncülük etme hedefimizde büyük yer tutabileceğini göstermiştir. Özellikle COVID-19 pandemisi döneminde aksayan birebir pratik eğitim süreci açısından tamamlayıcı rol de üstlenebilecektir. Bununla birlikte daha fazla içerik üretilmesi ve kontrol grupları ile çalışmaların yapılması, yeni teknolojilerin pratik eğitime katılımı konusunda hızlandırıcı etki sağlayabilecektir.
Anahtar Kelimeler: tıbbi simülasyon