1. UJIT
  2. Всі випуски
  3. Том 1 · Номер 1 · 2019
  4. СИНТЕЗ БІОМЕДИЧНИХ ЗОБРАЖЕНЬ НА ПІДСТАВІ ГЕНЕРАТИВНО-ЗМАГАЛЬНИХ МЕРЕЖ

СИНТЕЗ БІОМЕДИЧНИХ ЗОБРАЖЕНЬ НА ПІДСТАВІ ГЕНЕРАТИВНО-ЗМАГАЛЬНИХ МЕРЕЖ

UJIT.
2019;
Випуск 1, Номер 1
: 35-40
https://doi.org/10.23939/ujit2019.01.035
Надіслано: Жовтень 15, 2019
Прийнято: Листопад 20, 2019

Цитування за ДСТУ: Березький О. М., Лящинський П. М., Лящинський П. М., Сухович А. Р., Долинюк Т. М. Синтез біомедичних зображень на основі генеративно-змагальних мереж. Український журнал інформаційних технологій. 2019, т. 1, № 1. С. 35–40.

Citation APA: Berezsky, O. M., Liashchynskyi, P. B., Liashchinskyi, P. B., Sukhovych, A. R., & Dolynyuk, T. M. (2019). Synthesis of biomedical images based on generative adversarial networks. Ukrainian Journal of Information Technology, 1(1), 35–40. https://doi.org/10.23939/ujit2019.01.035

Автори:
  1. О. М. Березький
  2. Петро Б. Лящинський
  3. Павло Б. Лящинський
  4. А. Р. Сухович
  5. Т. М. Долинюк
1
Західноукраїнський національний університет, м. Тернопіль, Україна; Національний університет "Львівська політехніка", м. Львів, Україна
2
Тернопільський національний університет, кафедра комп'ютерної інженерії
3
Тернопільський національний університет, кафедра комп'ютерної інженерії
4
Тернопільський національний університет, кафедра комп'ютерної інженерії
5
Тернопільський національний університет, кафедра комп'ютерної інженерії

Дос­лі­дже­но су­час­ні ба­зи да­них бі­оме­дич­них зоб­ра­жень. По­ка­за­но, що от­ри­ман­ня бі­оме­дич­них зоб­ра­жень є до­ро­гим і три­ва­лим. Роз­роб­ле­но ба­зу да­них зоб­ра­жень пе­ред­ра­ко­вих і ра­ко­вих ста­нів мо­лоч­ної за­ло­зи "BPCI2100". Ба­за да­них скла­дається із 2100 файлів зоб­ра­жень та MySQL ба­зи да­них ін­фор­ма­ції ме­дич­них дос­лі­джень (ін­фор­ма­ція про па­цієнта та оз­на­ки зоб­ра­жен­ня). З'ясо­ва­но, що ефек­тив­ним за­со­бом ге­не­ру­ван­ня зоб­ра­жень є ге­не­ра­тив­но-зма­галь­ні ме­ре­жі. Роз­роб­ле­но ар­хі­тек­ту­ру ге­не­ра­тив­но-зма­галь­ної ме­ре­жі, яка скла­дається із ге­не­ра­то­ра та дис­кри­мі­на­то­ра.

Дис­кри­мі­на­то­ром є гли­бо­ка згор­тко­ва нейро­ме­ре­жа, на вхід якої над­хо­дять кольо­ро­ві зоб­ра­жен­ня роз­мі­ром 128×128 пік­се­лів. Ця ме­ре­жа скла­дається з шес­ти згор­тко­вих ша­рів із роз­мі­ром вік­на 5×5 пік­се­лів. Ви­ко­рис­та­но фун­кцію ак­ти­ва­ції ти­пу Le­aky Re­LU для згор­тко­вих ша­рів. Для ос­танньо­го ша­ру ви­ко­рис­та­но сиг­мо­їд­ну фун­кцію ак­ти­ва­ції. Ге­не­ра­то­ром є нейро­ме­ре­жа, яка скла­дається з пов­нозв'яз­но­го ша­ру та се­ми де­кон­во­лю­ційних ша­рів з роз­мі­ром вік­на 5×5 пік­се­лів. Для всіх ша­рів ви­ко­рис­та­но фун­кцію ак­ти­ва­ції Le­aky Re­LU. Ос­тан­ній шар ви­ко­рис­то­вує фун­кцію ак­ти­ва­ції гі­пер­бо­ліч­ний тан­генс. Для нав­чан­ня ге­не­ра­тив­но-зма­галь­ної ме­ре­жі ви­ко­рис­та­но за­со­би Go­og­le Clo­ud Com­pu­te Instan­ce. Про­ве­де­но ге­не­ру­ван­ня гіс­то­ло­гіч­них і ци­то­ло­гіч­них зоб­ра­жень на під­ста­ві ге­не­ра­тив­но-зма­галь­ної ме­ре­жі. Внас­лі­док знач­но збіль­ше­но нав­чаль­ну ви­бір­ку для кла­си­фі­ка­то­рів. Ори­гі­наль­ні гіс­то­ло­гіч­ні зоб­ра­жен­ня по­ді­ле­ні на 5 кла­сів, ци­то­ло­гіч­ні зоб­ра­жен­ня – на 4 кла­си. Роз­мір ори­гі­наль­ної ви­бір­ки для гіс­то­ло­гіч­них зоб­ра­жень ста­но­вить 91 зоб­ра­жен­ня, для ци­то­ло­гіч­них ‒ 78 зоб­ра­жень. Нав­чаль­ні ви­бір­ки бу­ло роз­ши­ре­но до 1000 зоб­ра­жень шля­хом афін­них пе­рет­во­рень (зсув, мас­шта­бу­ван­ня, по­во­рот, ві­доб­ра­жен­ня).

Нав­чан­ня кла­си­фі­ка­то­ра на ори­гі­наль­ній ви­бір­ці да­ло точ­ність ≈84 % для гіс­то­ло­гіч­них та ≈75 % для ци­то­ло­гіч­них зоб­ра­жень. На ви­бір­ці зі зге­не­ро­ва­них зоб­ра­жень ви­хід­на точ­ність кла­си­фі­ка­ції ста­но­вить ≈96,5 % для гіс­то­ло­гіч­них та ≈95,5 для ци­то­ло­гіч­них зоб­ра­жень. При­ріст точ­нос­ті ста­но­вить ≈12 % для гіс­то­ло­гіч­них та ≈20,5 % для ци­то­ло­гіч­них зоб­ра­жень. Про­ве­де­на кла­си­фі­ка­ція гіс­то­ло­гіч­них і ци­то­ло­гіч­них зоб­ра­жень по­ка­за­ла, що при­ріст точ­нос­ті кла­си­фі­ка­ції ста­но­вить ≈12 % для гіс­то­ло­гіч­них та ≈20,5 % для ци­то­ло­гіч­них зоб­ра­жень. Комп'ютер­ні ек­спе­ри­мен­ти по­ка­за­ли, що три­ва­лість нав­чан­ня ге­не­ра­тив­но-зма­галь­ної ме­ре­жі для гіс­то­ло­гіч­них зоб­ра­жень ста­но­вить ≈9 год, для ци­то­ло­гіч­них ‒ ≈8,5 год. Пер­спек­ти­ва­ми по­даль­ших дос­лі­джень є роз­па­ра­ле­лен­ня ал­го­рит­мів нав­чан­ня ге­не­ра­тив­но-зма­галь­них ме­реж.

біомедичні зображення
генеративно-змагальна мережа
згорткова нейронна мережа
архітектура нейронної мережі
генерування зображень

[1]     Ame­ri­can So­ci­ety. (2019). On­li­ne at­las of the Ame­ri­can So­ci­ety for Cyto­pat­ho­logy. Ret­ri­eved from: https://bet­hes­da.soc.wisc.edu/. (Da­te of ap­pe­al: Sep­tem­ber 2019). [In Uk­ra­ini­an].

[2]     Benchmark da­ta­set. (2019). UCSB Bio-Seg­men­ta­ti­on Benchmark da­ta­set for tes­ting com­pu­ter vi­si­on al­go­rithms, inclu­ding seg­men­ta­ti­on and clas­si­fi­ca­ti­on. Ret­ri­eved from: https://bioimage.ucsb.edu/research/bio-segmentation. (Da­te of ap­pe­al: Sep­tem­ber 2019). [In Uk­ra­ini­an].

[3]     Be­rezsky, O. M., Bat­ko, Y. M., Be­rez­ka, K. M., Ver­bov­yi, S. O., et al. (2017). Met­hods, al­go­rithms and softwa­re for pro­ces­sing bi­ome­di­cal ima­ges. Ter­no­pil: Eco­no­mic Tho­ught, TNEU, 350 p. [In Uk­ra­ini­an].

[4]     Be­rezsky, O. M., Melnyk, G. M., Ni­kol­yuk, V. D., & Datsko, T. V. (2013). Da­ta­ba­se of di­gi­tal his­to­lo­gi­cal and cyto­lo­gi­cal ima­ges of va­ri­ous forms of bre­ast can­cer "CIFDB": Cer­ti­fi­ca­te of copyright re­gistra­ti­on to the work № 52743 of 23.12.2013. [In Uk­ra­ini­an].

[5]     Cres­well, An­to­nia, Whi­te, Tom, Du­mou­lin, Vin­cent, Arul­ku­ma­ran, Kai, Sen­gup­ta, Bis­wa, & Bha­rath, Anil A. (2018). Ge­ne­ra­ti­ve Ad­ver­sa­ri­al Net­works, an over­vi­ew, (pp. 53–65). https://doi.org/10.1109/MSP.2017.2765202.

[6]     Fi­ne-ne­ed­le As­pi­ra­te. (2019). Bre­ast Can­cer Wis­con­sin (Di­ag­nos­tic) Da­ta Set. The signs we­re ob­ta­ined from di­gi­ti­zed ima­ges of the Fi­ne-ne­ed­le As­pi­ra­te (FNA) bre­ast tis­sue. The fe­atu­res ref­lect the cha­rac­te­ris­tics of the cell nuc­lei. Ret­ri­eved from: http://archi­ve.ics.uci.edu/ml/da­ta­sets/Bre­ast+Can­cer+Wis­con­sin+%28Di­ag­nos­tic29 (Da­te of ap­pe­al: Sep­tem­ber 2019). [In Uk­ra­ini­an].

[7]     Frid-Adar, M., Idit Di­amant, Eyal Khang, Mic­hal Ami­tai, Ja­cob Goldber­ger and Ha­yit Gre­enspan. (2018). GAN-ba­sed Synthe­tic Me­di­cal Ima­ge Aug­men­ta­ti­on for incre­ased CNN Per­for­man­ce in Li­ver Le­si­on Clas­si­fi­ca­ti­on, (pp. 321–331). https://doi.org/10.1016/j.neucom.2018.09.013

[8]     Gui­bas, John T.,              Vir­di, Tej­pal S., & Li, Pe­ter S. (2017). Synthe­tic Me­di­cal Ima­ges from Du­al Ge­ne­ra­ti­ve Ad­ver­sa­ri­al Net­works. 31st Con­fe­ren­ce on Neu­ral In­for­ma­ti­on Pro­ces­sing Systems (NIPS2017) and LongBe­ach and CA and USA, (p. 9).

[9]     He Zhao, Hui­qi Li, Se­bas­ti­an Mau­rer-Stroh, & Li Cheng. (2018). Synthe­si­zing Re­ti­nal and Neu­ro­nal Ima­ges with Ge­ne­ra­ti­ve. Ad­ver­sa­ri­al Nets, jo­ur­nal = {Me­di­cal Ima­ge Analysis}, chap­ter= {49}, S1361-8415(18)30459-6. , (pp. 14–26). https://doi.org/10.1016/j.media.2018.07.001.

[10]  His­to­logy Gui­de. (2019). Vir­tu­al his­to­logy la­bo­ra­tory: His­to­logy Gui­de. Ret­ri­eved from: http://www.his­to­logygui­de.com/in­dex.html (Date of appeal: Sep­tem­ber 2019). [In Uk­ra­ini­an].

[11]  Kan­sas Scho­ol. (2019). His­to­lo­gi­cal on­li­ne at­las for la­bo­ra­tory and cell bi­ology co­ur­ses at the Uni­ver­sity of Kan­sas Scho­ol of Me­di­ci­ne. Ret­ri­eved from: http://www.kumc.edu/instruction/medicine/anatomy/hisoweb/index.html (Date of appeal: Sep­tem­ber 2019). [In Uk­ra­ini­an].

[12]  Ka­ze­mi­niaa, Sa­lo­me, Ba­urb, Chris­toph, Ku­ij­perc, Ar­jan, In­ne­kend, Bram­van, Na­vabb, Nas­sir, Al­bar­qou­ni, Sha­di, Muk­ho­padhya­ya, Anir­ban. (2018). GANs for Me­di­cal Ima­ge Analysis", jo­ur­nal = {De­partment of Com­pu­ter Sci­en­ce and TU Darmstadt and Ger­many Com­pu­ter Aided Me­di­cal Pro­ce­du­res (CAMP) and TU Mu­nich Ger­many}, (pp. 1–41).

[13]  Lu­cas The­is. (2016). Lu­cas The­is Aaron "van den Oord y Uni­ver­sity of Tu­bin­gen" Ghent Uni­ver­sity 72072 Tu­bin­gen, Matthi­as Bethge, "A No­te On The Eval­ua­ti­on Of Ge­ne­ra­ti­ve Mo­dels", Pub­lis­hed as a con­fe­ren­ce pa­per at ICLR 2016, ar­Xiv:1511.01844v3 [stat. ML] 24 Apr 2016, p. 10.

[14]  Sa­li­mans, Tim, Go­od­fel­low, Ian, Za­rem­ba, Woj­ci­ech, Che­ung, Vic­ki, Rad­ford, Alec, & Chen, Xi. (2016). Impro­ved Techniq­ues for Tra­ining GANs. In ar­Xiv, (pp. 2234–2242).

[15]  Xi­an Wu, Kun Xu, & Pe­ter Hall. (2017). A Sur­vey of Ima­ge Synthe­sis and Edi­ting with Ge­ne­ra­ti­ve Ad­ver­sa­ri­al Net­works. Tsinghua sci­en­ce and techno­logy, 15. ISSNll1007-0214ll09/15llpp660-674.