תודה שביקרת ב-Nature.com.אתה משתמש בגרסת דפדפן עם תמיכת CSS מוגבלת.לקבלת החוויה הטובה ביותר, אנו ממליצים להשתמש בדפדפן מעודכן (או להשבית את מצב תאימות ב-Internet Explorer).בנוסף, כדי להבטיח תמיכה מתמשכת, אנו מציגים את האתר ללא סגנונות ו-JavaScript.
סליידרים המציגים שלושה מאמרים בכל שקופית.השתמש בלחצנים 'הקודם' וה'הבא' כדי לעבור בין השקופיות, או בלחצני בקר השקופיות שבקצה כדי לעבור בין כל שקופית.
אנגיוגרפיה טומוגרפית קוהרנטית אופטית (OCTA) היא שיטה חדשה להדמיה לא פולשנית של כלי רשתית.למרות של-OCTA יש יישומים קליניים מבטיחים רבים, קביעת איכות התמונה נותרה אתגר.פיתחנו מערכת מבוססת למידה עמוקה תוך שימוש במסווג הרשת העצבית ResNet152 שהוכשר מראש עם ImageNet כדי לסווג תמונות מקלעת נימיות שטחיות מ-347 סריקות של 134 חולים.התמונות גם הוערכו באופן ידני כאמת אמיתית על ידי שני מדרגים עצמאיים עבור מודל למידה מפוקח.מכיוון שדרישות איכות התמונה עשויות להשתנות בהתאם להגדרות הקליניות או המחקריות, הוכשרו שני דגמים, האחד לזיהוי תמונה באיכות גבוהה והשני לזיהוי תמונה באיכות נמוכה.מודל הרשת העצבית שלנו מציג אזור מצוין מתחת לעקומה (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81), שהוא טוב משמעותית מרמת האות שדיווחה המכונה (AUC = 0.82, 95 % CI).0.77–0.86, \(\kappa\) = 0.52 ו-AUC = 0.78, 95% CI 0.73-0.83, \(\kappa\) = 0.27, בהתאמה).המחקר שלנו מדגים שניתן להשתמש בשיטות למידת מכונה כדי לפתח שיטות בקרת איכות גמישות וחזקות עבור תמונות OCTA.
אנגיוגרפיה אופטית קוהרנטית טומוגרפית (OCTA) היא טכניקה חדשה יחסית המבוססת על טומוגרפיה קוהרנטית אופטית (OCT) שיכולה לשמש להדמיה לא פולשנית של מיקרו-וסקולטור הרשתית.OCTA מודד את ההבדל בדפוסי ההשתקפות מפולסי אור חוזרים ונשנים באותו אזור של הרשתית, ולאחר מכן ניתן לחשב שחזורים כדי לחשוף כלי דם ללא שימוש פולשני בצבעים או בחומרי ניגוד אחרים.OCTA מאפשרת גם הדמיה של כלי דם ברזולוציית עומק, ומאפשרת לרופאים לבחון בנפרד שכבות כלי דם שטחיות ועמוקות, ועוזרת להבדיל בין מחלות כוריורטינליות.
למרות שהטכניקה הזו מבטיחה, שינויים באיכות התמונה נותרו אתגר מרכזי לניתוח תמונה אמין, מה שמקשה על פרשנות התמונה ומונע אימוץ קליני נרחב.מכיוון ש-OCTA משתמש במספר סריקות OCT רצופות, הוא רגיש יותר לחפצי תמונה מאשר OCT רגיל.רוב פלטפורמות ה-OCTA המסחריות מספקות מדד איכות תמונה משלהן הנקרא חוזק אותות (SS) או לפעמים Signal Strength Index (SSI).עם זאת, תמונות בעלות ערך SS או SSI גבוה אינן מבטיחות היעדר חפצי תמונה, אשר יכולים להשפיע על כל ניתוח תמונה שלאחר מכן ולהוביל להחלטות קליניות שגויות.חפצי תמונה נפוצים שיכולים להתרחש בהדמיית OCTA כוללים חפצי תנועה, חפצי פילוח, חפצי אטימות מדיה וחפצי הקרנה1,2,3.
מכיוון שאמצעים שמקורם ב-OCTA כגון צפיפות כלי דם נמצאים בשימוש יותר ויותר במחקר תרגום, ניסויים קליניים ותרגול קליני, יש צורך דחוף לפתח תהליכי בקרת איכות תמונה חזקים ואמינים כדי לחסל חפצי תמונה4.חיבורי דילוג, הידועים גם כחיבורים שיוריים, הם תחזיות בארכיטקטורת רשתות עצביות המאפשרות למידע לעקוף שכבות קונבולוציוניות תוך אחסון מידע בקנה מידה או ברזולוציות שונות.מכיוון שחפצי תמונה יכולים להשפיע על ביצועי תמונה בקנה מידה קטן וכללי גדול, רשתות עצביות של דילוג על חיבור מתאימות היטב לאוטומציה של משימת בקרת איכות זו.עבודה שפורסמה לאחרונה הראתה הבטחה מסוימת לרשתות עצביות קונבולוציוניות עמוקות המאומנות באמצעות נתונים באיכות גבוהה מאומדי אנוש6.
במחקר זה, אנו מאמנים רשת עצבית קונבולוציונית המדלגת על חיבור כדי לקבוע אוטומטית את האיכות של תמונות OCTA.אנו מתבססים על עבודה קודמת על ידי פיתוח מודלים נפרדים לזיהוי תמונות באיכות גבוהה ותמונות באיכות נמוכה, מכיוון שדרישות איכות התמונה עשויות להיות שונות בתרחישים קליניים או מחקריים ספציפיים.אנו משווים את התוצאות של רשתות אלו עם רשתות עצביות קונבולוציוניות ללא חיבורים חסרים כדי להעריך את הערך של הכללת תכונות ברמות מרובות של פירוט בתוך למידה עמוקה.לאחר מכן השווינו את התוצאות שלנו לחוזק האות, מדד מקובל לאיכות התמונה שסופק על ידי היצרנים.
המחקר שלנו כלל חולים עם סוכרת שלמדו במרכז העיניים של ייל בין ה-11 באוגוסט 2017 ל-11 באפריל 2019. חולים עם כל מחלת כוריורטינלית שאינה סוכרתית לא נכללו.לא היו קריטריונים להכללה או אי הכללה על סמך גיל, מין, גזע, איכות תמונה או כל גורם אחר.
תמונות OCTA נרכשו באמצעות פלטפורמת AngioPlex על גבי Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) תחת פרוטוקולי הדמיה של 8\(\times\)8 מ"מ ו-6\(\times\)6 מ"מ.הסכמה מדעת להשתתפות במחקר התקבלה מכל משתתף במחקר, והמועצה לביקורת מוסדית של אוניברסיטת ייל (IRB) אישרה את השימוש בהסכמה מדעת עם צילום גלובלי עבור כל המטופלים הללו.בהתאם לעקרונות הצהרת הלסינקי.המחקר אושר על ידי IRB של אוניברסיטת ייל.
תמונות של לוחות פני השטח הוערכו בהתבסס על ציון חפצי תנועה שתוארו קודם לכן, ציון חפצי חלוקה שתוארו קודם לכן (SAS), מרכז הרגל, נוכחות של אטימות מדיה והדמיה טובה של נימים קטנים כפי שנקבע על ידי מעריך התמונה.התמונות נותחו על ידי שני מעריכים בלתי תלויים (RD ו-JW).לתמונה יש ציון מדורג של 2 (כשירה) אם כל הקריטריונים הבאים מתקיימים: התמונה ממורכזת ב-fovea (פחות מ-100 פיקסלים ממרכז התמונה), MAS הוא 1 או 2, SAS הוא 1, ו אטימות המדיה היא פחות מ-1. קיימת בתמונות בגודל / 16, ונימים קטנים נראים בתמונות גדולות מ-15/16.תמונה מדורגת 0 (ללא דירוג) אם מתקיימים אחד מהקריטריונים הבאים: התמונה לא ממרכזה, אם MAS הוא 4, אם SAS הוא 2, או האטימות הממוצעת גדולה מ-1/4 מהתמונה, וכן לא ניתן לכוונן את הנימים הקטנים יותר מתמונה אחת /4 כדי להבחין.כל שאר התמונות שאינן עומדות בקריטריוני הניקוד 0 או 2 מקבלים ציון 1 (גזירה).
על איור.1 מציג תמונות לדוגמה עבור כל אחד מהאומדנים המוקטנים וחפצי תמונה.מהימנות בין-מדרגים של ציונים בודדים הוערכה על ידי שקלול קאפה של כהן8.הציונים האישיים של כל מדרג מסוכמים כדי לקבל ציון כולל לכל תמונה, הנע בין 0 ל-4. תמונות עם ציון כולל של 4 נחשבות טובות.תמונות עם ציון כולל של 0 או 1 נחשבות לאיכות נמוכה.
רשת עצבית קונבולוציונית של ארכיטקטורת ResNet152 (איור 3A.i) שהוכשרה מראש על תמונות ממסד הנתונים של ImageNet נוצרה באמצעות fast.ai ו-PyTorch framework5, 9, 10, 11. רשת עצבית קונבולוציונית היא רשת המשתמשת מסננים לסריקת קטעי תמונה כדי ללמוד תכונות מרחביות ומקומיות.ResNet המאומן שלנו היא רשת עצבית בת 152 שכבות המאופיינת בפערים או "חיבורים שיוריים" המעבירים מידע בו-זמנית עם מספר רזולוציות.על ידי הקרנת מידע ברזולוציות שונות על גבי הרשת, הפלטפורמה יכולה ללמוד את התכונות של תמונות באיכות נמוכה ברמות מרובות של פירוט.בנוסף למודל ה-ResNet שלנו, אימנו גם את AlexNet, ארכיטקטורת רשת עצבית שנלמדה היטב, מבלי להחמיץ חיבורים לצורך השוואה (איור 3A.ii)12.בלי חיבורים חסרים, רשת זו לא תוכל ללכוד תכונות בפירוט גבוה יותר.
ערכת התמונות המקורית 8\(\times\)8 מ"מ OCTA13 שופרה באמצעות טכניקות השתקפות אופקית ואנכית.מערך הנתונים המלא פוצל לאחר מכן באופן אקראי ברמת התמונה לאימון (51.2%), בדיקות (12.8%), כוונון היפרפרמטר (16%) ותיקוף (20%) מערכי נתונים באמצעות ארגז הכלים sikit-learn python14.נבחנו שני מקרים, האחד מבוסס על זיהוי רק התמונות באיכות הגבוהה ביותר (ציון כולל 4) והשני מבוסס על זיהוי רק התמונות באיכות הנמוכה ביותר (ציון כולל 0 או 1).עבור כל מקרה שימוש איכותי ואיכותי, הרשת העצבית מאומנת פעם אחת על נתוני התמונה שלנו.בכל מקרה שימוש, הרשת העצבית אומנה במשך 10 עידנים, כל משקלי השכבות הגבוהים ביותר הוקפאו, והמשקלים של כל הפרמטרים הפנימיים נלמדו במשך 40 עידנים באמצעות שיטת קצב למידה מפלה עם פונקציית אובדן חוצה אנטרופיה 15, 16..פונקציית אובדן האנטרופיה הצולבת היא מדד לסולם הלוגריתמי של הפער בין תוויות רשת חזויות ונתונים אמיתיים.במהלך האימון מתבצעת ירידה בשיפוע על הפרמטרים הפנימיים של הרשת העצבית כדי למזער את ההפסדים.ההיפרפרמטרים של קצב הלמידה, קצב הנשירה והפחתת המשקל כוונו באמצעות אופטימיזציה בייסיאנית עם 2 נקודות התחלה אקראיות ו-10 איטרציות, וה-AUC במערך הנתונים כוונן באמצעות ההיפרפרמטרים כיעד של 17.
דוגמאות מייצגות של תמונות OCTA בגודל 8 × 8 מ"מ של מקלעות נימיות שטחיות עם ציון 2 (A, B), 1 (C, D) ו-0 (E, F).חפצי תמונה המוצגים כוללים קווים מרצדים (חצים), חפצי פילוח (כוכביות) ואטימות מדיה (חצים).תמונה (E) גם היא מחוץ למרכז.
לאחר מכן נוצרות עקומות מאפייני הפעלה של מקלט (ROC) עבור כל דגמי הרשת העצבית, ודוחות עוצמת אות המנוע נוצרים עבור כל מקרה שימוש באיכות נמוכה ואיכותית.שטח מתחת לעקומה (AUC) חושב באמצעות חבילת pROC R, ו-95% רווחי סמך וערכי p חושבו בשיטת DeLong18,19.הציונים המצטברים של המדרגים האנושיים משמשים כבסיס לכל חישובי ה-ROC.עבור עוצמת האות שדווחה על ידי המכונה, ה-AUC חושב פעמיים: פעם אחת עבור ה-Scalability Score cutoff באיכות גבוהה ופעם אחת עבור ה-Scalability Score חיתוך באיכות נמוכה.הרשת העצבית מושווה לעוצמת האות AUC המשקפת את תנאי האימון וההערכה שלה.
כדי להמשיך ולבחון את מודל הלמידה העמוקה המאומנת על מערך נתונים נפרד, מודלים באיכות גבוהה ואיכות נמוכה יושמו ישירות להערכת ביצועים של 32 תמונות של לוחות משטח מלאים בגודל 6\(\פעמים\) 6 מ"מ שנאספו מאוניברסיטת ייל.מסת העין מרוכזת במקביל לתמונה 8 \(\ פעמים \) 8 מ"מ.תמונות 6\(\×\) 6 מ"מ הוערכו ידנית על ידי אותם מדרגים (RD ו-JW) באותו אופן כמו תמונות 8\(\×\) 8 מ"מ, AUC חושב כמו גם הדיוק והקאפה של כהן .באופן שווה .
יחס חוסר האיזון בכיתה הוא 158:189 (\(\rho = 1.19\)) עבור הדגם באיכות נמוכה ו-80:267 (\(\rho = 3.3\)) עבור הדגם האיכותי.מכיוון שיחס חוסר האיזון המעמדי קטן מ-1:4, לא בוצעו שינויים ארכיטקטוניים ספציפיים לתיקון חוסר האיזון המעמדי20,21.
כדי להמחיש טוב יותר את תהליך הלמידה, נוצרו מפות הפעלה של הכיתה עבור כל ארבעת דגמי הלמידה העמוקה המאומנים: דגם ResNet152 באיכות גבוהה, דגם ResNet152 באיכות נמוכה, דגם AlexNet באיכות גבוהה ודגם AlexNet באיכות נמוכה.מפות הפעלה של מחלקות נוצרות משכבות הפיתול הקלט של ארבעת הדגמים הללו, ומפות חום נוצרות על ידי שכבת-על של מפות הפעלה עם תמונות מקור ממערכות האימות של 8 × 8 מ"מ ו-6 × 6 מ"מ22, 23.
גרסה R 4.0.3 שימשה עבור כל החישובים הסטטיסטיים, והדמיות נוצרו באמצעות ספריית הכלים הגרפיים ggplot2.
אספנו 347 תמונות חזיתיות של מקלעת נימי השטחית בגודל 8 \(\ פעמים \)8 מ"מ מ-134 אנשים.המכשיר דיווח על עוצמת האות בסולם של 0 עד 10 עבור כל התמונות (ממוצע = 6.99 ± 2.29).מתוך 347 תמונות שנרכשו, הגיל הממוצע בבדיקה היה 58.7 ± 14.6 שנים, ו-39.2% היו ממטופלים גברים.מכל התמונות, 30.8% היו מקווקזים, 32.6% משחורים, 30.8% מהיספנים, 4% מאסיאתים ו-1.7% מגזעים אחרים (טבלה 1).).התפלגות הגילאים של חולים עם OCTA שונה משמעותית בהתאם לאיכות התמונה (p < 0.001).אחוז התמונות באיכות גבוהה בחולים צעירים יותר בגילאי 18-45 שנים היה 33.8% לעומת 12.2% מהתמונות באיכות נמוכה (טבלה 1).התפלגות מצב הרטינופתיה הסוכרתית השתנתה באופן משמעותי גם באיכות התמונה (p < 0.017).מבין כל התמונות באיכות גבוהה, אחוז החולים עם PDR היה 18.8% לעומת 38.8% מכלל התמונות באיכות נמוכה (טבלה 1).
דירוגים בודדים של כל התמונות הראו מהימנות בין-דירוג בינונית עד חזקה בין אנשים שקראו את התמונות (קאפה משוקלל של כהן = 0.79, CI של 95%: 0.76-0.82), ולא היו נקודות תמונה שבהן המדרגים נבדלו ביותר מ-1 (איור. 2א)..עוצמת האות נמצאה בקורלציה מובהקת עם ניקוד ידני (מתאם מומנט מוצר Pearson = 0.58, 95% CI 0.51-0.65, p<0.001), אך תמונות רבות זוהו כבעלות עוצמת אות גבוהה אך ניקוד ידני נמוך (איור .2B).
במהלך האימון של ארכיטקטורות ResNet152 ו-AlexNet, אובדן האנטרופיה הצולבת באימות והדרכה נופל על פני 50 עידנים (איור 3B,C).דיוק האימות בתקופת ההכשרה הסופית הוא מעל 90% עבור מקרי שימוש באיכות גבוהה ובאיכות נמוכה כאחד.
עקומות ביצועי מקלט מראות שדגם ResNet152 עולה בביצועים משמעותיים על עוצמת האות המדווחת על ידי המכונה גם במקרים של שימוש נמוך וגם באיכות גבוהה (p < 0.001).מודל ResNet152 גם עולה בהרבה על ארכיטקטורת AlexNet (p = 0.005 ו-p = 0.014 עבור מקרים באיכות נמוכה ואיכות גבוהה, בהתאמה).המודלים שהתקבלו עבור כל אחת מהמשימות הללו הצליחו להשיג ערכי AUC של 0.99 ו-0.97, בהתאמה, וזה טוב משמעותית מערכי ה-AUC המקבילים של 0.82 ו-0.78 עבור מדד עוצמת האות של המכונה או 0.97 ו-0.94 עבור AlexNet ..(איור 3).ההבדל בין ResNet ל-AUC בעוצמת האות גבוה יותר בעת זיהוי תמונות באיכות גבוהה, מה שמצביע על יתרונות נוספים של השימוש ב-ResNet למשימה זו.
הגרפים מציגים את יכולתו של כל מדרג עצמאי להבקיע ולהשוות עם עוצמת האות המדווחת על ידי המכונה.(א) סכום הנקודות שיש להעריך משמש ליצירת המספר הכולל של הנקודות שיש להעריך.תמונות עם ציון מדרגיות כולל של 4 מוקצים באיכות גבוהה, בעוד שתמונות עם ציון מדרגיות כולל של 1 או פחות מוקצים באיכות נמוכה.(ב) עוצמת האות מתאמת להערכות ידניות, אך תמונות עם עוצמת אות גבוהה עשויות להיות באיכות ירודה יותר.הקו המקווקו האדום מציין את סף האיכות המומלץ של היצרן בהתבסס על עוצמת האות (עוצמת האות \(\ge\)6).
למידת העברה של ResNet מספקת שיפור משמעותי בזיהוי איכות התמונה הן עבור מקרי שימוש באיכות נמוכה והן עבור מקרי שימוש באיכות גבוהה בהשוואה לרמות האות המדווחות על ידי מכונה.(א) דיאגרמות ארכיטקטורה מפושטות של ארכיטקטורות (i) ResNet152 ו-(ii) AlexNet מאומנות מראש.(ב) היסטוריית אימון ועקומות ביצועי מקלט עבור ResNet152 בהשוואה לחוזק האות המדווח על ידי המכונה וקריטריונים לאיכות נמוכה של AlexNet.(ג) היסטוריית אימון מקלט ResNet152 ועקומות ביצועים בהשוואה לחוזק האות המדווח על ידי המכונה וקריטריונים באיכות גבוהה של AlexNet.
לאחר התאמת סף גבול ההחלטה, דיוק החיזוי המקסימלי של מודל ResNet152 הוא 95.3% במקרה באיכות נמוכה ו-93.5% עבור מקרה באיכות גבוהה (טבלה 2).דיוק החיזוי המרבי של דגם AlexNet הוא 91.0% עבור המארז באיכות נמוכה ו-90.1% עבור המארז באיכות גבוהה (טבלה 2).דיוק חיזוי חוזק האות המרבי הוא 76.1% עבור מקרה השימוש באיכות נמוכה ו-77.8% עבור מקרה השימוש באיכות גבוהה.לפי ה-kappa של כהן (\(\kappa\)), ההסכם בין דגם ResNet152 לבין האומדנים הוא 0.90 למקרה באיכות נמוכה ו-0.81 למקרה באיכות גבוהה.AlexNet kappa של כהן הוא 0.82 ו-0.71 עבור מקרי שימוש באיכות נמוכה ואיכות גבוהה, בהתאמה.קאפה של עוצמת האות של כהן היא 0.52 ו-0.27 עבור מקרי השימוש הנמוכים והאיכותיים, בהתאמה.
אימות של דגמי זיהוי באיכות גבוהה ונמוכה על תמונות 6\(\x\) של צלחת שטוחה בגודל 6 מ"מ מדגים את יכולתו של הדגם המאומן לקבוע איכות תמונה על פני פרמטרי הדמיה שונים.בעת שימוש בלוחות רדודים של 6\(\x\) 6 מ"מ לאיכות הדמיה, למודל באיכות נמוכה היה AUC של 0.83 (95% CI: 0.69-0.98) ולמודל האיכותי היה AUC של 0.85.(95% CI: 0.55-1.00) (טבלה 2).
בדיקה חזותית של מפות ההפעלה של שכבת הקלט הראתה שכל הרשתות העצביות המאומנות השתמשו בתכונות תמונה במהלך סיווג התמונה (איור 4A, B).עבור 8 \(\times \) 8 מ"מ ו-6 \(\times \) 6 מ"מ תמונות, תמונות ההפעלה של ResNet עוקבות מקרוב אחר כלי הדם ברשתית.מפות הפעלה של AlexNet עוקבות גם אחר כלי הרשתית, אך ברזולוציה גסה יותר.
מפות ההפעלה של הכיתה עבור דגמי ResNet152 ו-AlexNet מדגישות תכונות הקשורות לאיכות תמונה.(א) מפת הפעלה מחלקה המציגה הפעלה קוהרנטית לאחר כלי דם שטחיים ברשתית על 8 \(\ פעמים \) תמונות אימות 8 מ"מ ו- (B) היקף על 6 \(\ פעמים \) תמונות אימות קטנות יותר של 6 מ"מ.מודל LQ מאומן על פי קריטריונים באיכות נמוכה, מודל HQ מאומן על קריטריונים באיכות גבוהה.
בעבר הוכח שאיכות תמונה יכולה להשפיע רבות על כל כימות של תמונות OCTA.בנוסף, נוכחות של רטינופתיה מגבירה את השכיחות של חפצי תמונה7,26.למעשה, בנתונים שלנו, בהתאם למחקרים קודמים, מצאנו קשר מובהק בין העלייה בגיל וחומרת מחלת הרשתית לבין הידרדרות באיכות התמונה (p < 0.001, p = 0.017 עבור גיל ומצב DR, בהתאמה; טבלה 1) 27 לכן, חשוב להעריך את איכות התמונה לפני ביצוע כל ניתוח כמותי של תמונות OCTA.רוב המחקרים המנתחים תמונות OCTA משתמשים בספי עוצמת האות המדווחים על ידי מכונה כדי לשלול תמונות באיכות נמוכה.למרות שהוכח שעוצמת האות משפיעה על הכימות של פרמטרי OCTA, ייתכן שעוצמת האות הגבוהה לבדה לא תספיק כדי לשלול תמונות עם חפצי תמונה2,3,28,29.לכן, יש צורך לפתח שיטה אמינה יותר לבקרת איכות תמונה.לשם כך, אנו מעריכים את הביצועים של שיטות למידה עמוקה מפוקחות מול עוצמת האות המדווחת על ידי המכונה.
פיתחנו מספר מודלים להערכת איכות תמונה מכיוון שלמקרי שימוש שונים ב-OCTA עשויים להיות דרישות איכות תמונה שונות.לדוגמה, תמונות צריכות להיות באיכות גבוהה יותר.בנוסף, חשובים גם פרמטרים כמותיים ספציפיים של עניין.לדוגמה, השטח של אזור הגלעין אינו תלוי בעכירות המדיום הלא מרכזי, אלא משפיע על צפיפות הכלים.למרות שהמחקר שלנו ממשיך להתמקד בגישה כללית לאיכות תמונה, שאינה קשורה לדרישות של בדיקה מסוימת, אלא מיועדת להחליף ישירות את עוצמת האות המדווחת על ידי המכונה, אנו מקווים לתת למשתמשים מידה רבה יותר של שליטה כך שהם יכול לבחור את המדד הספציפי שמעניין את המשתמש.בחר דגם המתאים לדרגה המקסימלית של חפצי תמונה שנחשבים מקובלים.
עבור סצנות באיכות נמוכה ובאיכות גבוהה, אנו מציגים ביצועים מצוינים של רשתות עצביות עמוקות חסרות חיבור, עם AUC של 0.97 ו-0.99 ומודלים באיכות נמוכה, בהתאמה.אנו גם מדגימים את הביצועים המעולים של גישת הלמידה העמוקה שלנו בהשוואה לרמות האות המדווחות רק על ידי מכונות.חיבורי דילוג מאפשרים לרשתות עצביות ללמוד תכונות ברמות פירוט מרובות, וללכוד היבטים עדינים יותר של תמונות (למשל ניגודיות) כמו גם תכונות כלליות (למשל מרכז תמונה30,31).מכיוון שחפצי תמונה המשפיעים על איכות התמונה כנראה מזוהים בצורה הטובה ביותר בטווח רחב, ארכיטקטורות רשתות עצביות עם חיבורים חסרים עשויות להציג ביצועים טובים יותר מאלה ללא משימות קביעת איכות תמונה.
כאשר בדקנו את הדגם שלנו על תמונות OCTA בגודל 6\(\×6 מ"מ), הבחנו בירידה בביצועי הסיווג עבור דגמים באיכות גבוהה ובאיכות נמוכה כאחד (איור 2), בניגוד לגודל הדגם שהוכשר לסיווג.בהשוואה לדגם ResNet, לדגם AlexNet יש נפילה גדולה יותר.הביצועים הטובים יחסית של ResNet עשויים לנבוע מהיכולת של שאר החיבורים להעביר מידע במספר קנה מידה, מה שהופך את המודל לחזק יותר לסיווג תמונות שצולמו בקנה מידה ו/או הגדלות שונות.
כמה הבדלים בין 8 \(\×\) תמונות 8 מ"מ ו-6 \(\×\) תמונות של 6 מ"מ עלולים להוביל לסיווג לקוי, כולל שיעור גבוה יחסית של תמונות המכילות אזורים אווסקולריים פוביאליים, שינויים בנראות, ארקדות כלי דם, ו אין עצב אופטי בתמונה 6×6 מ"מ.למרות זאת, מודל ResNet האיכותי שלנו הצליח להשיג AUC של 85% עבור 6 \(\x\) תמונות 6 מ"מ, תצורה שהמודל לא הוכשר לה, מה שמרמז על כך שמידע איכות התמונה מקודד ברשת העצבית מתאים.עבור גודל תמונה אחד או תצורת מכונה מחוץ לאימון שלה (טבלה 2).באופן מרגיע, מפות הפעלה דמויות ResNet ו-AlexNet של תמונות 8 \(\times \) 8 מ"מ ו-6 \(\times \) 6 מ"מ הצליחו להדגיש את כלי הרשתית בשני המקרים, מה שמצביע על כך שלמודל יש מידע חשוב.מתאימים לסיווג שני סוגי תמונות OCTA (איור 4).
Lauerman et al.הערכת איכות תמונה בתמונות OCTA בוצעה באופן דומה באמצעות ארכיטקטורת Inception, רשת עצבית קונבולוציונית נוספת של דילוג על חיבור 6,32 תוך שימוש בטכניקות למידה עמוקה.הם גם הגבילו את המחקר לתמונות של מקלעת נימי השטחית, אך רק באמצעות תמונות קטנות יותר בגודל 3×3 מ"מ מ-Optovue AngioVue, אם כי נכללו גם חולים עם מחלות כוריורטינליות שונות.העבודה שלנו מתבססת על היסודות שלהם, כולל דגמים מרובים כדי לתת מענה לספי איכות תמונה שונים ולאמת תוצאות עבור תמונות בגדלים שונים.אנו מדווחים גם על מדד ה-AUC של מודלים של למידת מכונה ומגדילים את הדיוק המרשים ממילא שלהם (90%)6 עבור מודלים באיכות נמוכה (96%) ואיכות גבוהה (95.7%)6.
לאימון זה מספר מגבלות.ראשית, התמונות נרכשו עם מכונת OCTA אחת בלבד, כולל רק תמונות של מקלעת נימי השטחית ב-8\(\פעמים\)8 מ"מ ו-6\(\פעמים\)6 מ"מ.הסיבה להחרגת תמונות משכבות עמוקות יותר היא שחפצי הקרנה יכולים להפוך את ההערכה הידנית של תמונות לקשה יותר ואולי פחות עקבית.יתר על כן, תמונות נרכשו רק בחולי סוכרת, ש-OCTA מתגלה עבורם ככלי אבחוני ופרוגנוסטי חשוב33,34.למרות שהצלחנו לבדוק את המודל שלנו על תמונות בגדלים שונים כדי להבטיח שהתוצאות היו חזקות, לא הצלחנו לזהות מערכי נתונים מתאימים ממרכזים שונים, מה שהגביל את הערכתנו לגבי יכולת ההכללה של המודל.למרות שהתמונות התקבלו ממרכז אחד בלבד, הן התקבלו ממטופלים מרקע אתני וגזעי שונה, מה שמהווה חוזק ייחודי של המחקר שלנו.על ידי הכללת גיוון בתהליך האימון שלנו, אנו מקווים שהתוצאות שלנו יהיו מוכללות במובן רחב יותר, ושנמנע מקידוד הטיה גזעית במודלים שאנו מתאמנים.
המחקר שלנו מראה שניתן לאמן רשתות עצביות המדלגות על חיבור להשיג ביצועים גבוהים בקביעת איכות תמונה של OCTA.אנו מספקים מודלים אלה ככלים למחקר נוסף.מכיוון שלמדדים שונים עשויות להיות דרישות איכות תמונה שונות, ניתן לפתח מודל בקרת איכות אינדיבידואלי עבור כל מדד באמצעות המבנה שנקבע כאן.
מחקר עתידי צריך לכלול תמונות בגדלים שונים מעומקים שונים ומכונות OCTA שונות כדי להשיג תהליך הערכת איכות תמונה של למידה עמוקה שניתן להכליל לפלטפורמות OCTA ולפרוטוקולי הדמיה.המחקר הנוכחי מבוסס גם על גישות למידה עמוקה מפוקחת הדורשות הערכה אנושית והערכת תמונה, אשר עשויה להיות אינטנסיבית וגוזלת זמן עבור מערכי נתונים גדולים.נותר לראות אם שיטות למידה עמוקה ללא פיקוח יכולות להבחין בצורה מספקת בין תמונות באיכות נמוכה לתמונות באיכות גבוהה.
ככל שטכנולוגיית OCTA ממשיכה להתפתח ומהירויות הסריקה עולות, השכיחות של חפצי תמונה ותמונות באיכות ירודה עלולה לרדת.שיפורים בתוכנה, כמו תכונת הסרת חפצי הקרנה שהוצגה לאחרונה, יכולים גם הם להקל על מגבלות אלו.עם זאת, בעיות רבות נותרות כאשר הדמיה של חולים עם קיבוע לקוי או עכירות מדיה משמעותית מביאה תמיד לחפצי תמונה.ככל ש-OCTA נעשה שימוש נרחב יותר בניסויים קליניים, יש צורך בשיקול זהיר כדי לקבוע קווים מנחים ברורים לרמות חפצי תמונה מקובלות לניתוח תמונה.היישום של שיטות למידה עמוקה לתמונות OCTA טומן בחובו הבטחה רבה ויש צורך במחקר נוסף בתחום זה כדי לפתח גישה חזקה לבקרת איכות תמונה.
הקוד המשמש במחקר הנוכחי זמין במאגר octa-qc, https://github.com/rahuldhodapkar/octa-qc.מערכי נתונים שנוצרו ו/או נותחו במהלך המחקר הנוכחי זמינים מהמחברים המתאימים לפי בקשה סבירה.
Spaide, RF, Fujimoto, JG & Waheed, NK חפצי תמונה באנגיוגרפיה של קוהרנטיות אופטית.רשתית 35, 2163–2180 (2015).
Fenner, BJ et al.זיהוי תכונות הדמיה הקובעות את האיכות והשחזור של מדידות צפיפות מקלעת נימי הרשתית באנגיוגרפיה OCT.BR.J. Ophthalmol.102, 509–514 (2018).
Lauerman, JL et al.השפעת טכנולוגיית מעקב עיניים על איכות התמונה של אנגיוגרפיה OCT בניוון מקולרי הקשור לגיל.קשת קבר.קלינית.Exp.רפואת עיניים.255, 1535–1542 (2017).
Babyuch AS et al.מדידות צפיפות זלוף נימי OCTA משמשות לאיתור והערכת איסכמיה מקולרית.ניתוח עיניים.Retinal Laser Imaging 51, S30–S36 (2020).
He, K., Zhang, X., Ren, S., and Sun, J. Deep Residual Learning for Image Recognition.בשנת 2016 בכנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים (2016).
Lauerman, JL et al.הערכת איכות תמונה אנגיוגרפית אוטומטית ב-OCT באמצעות אלגוריתמי למידה עמוקה.קשת קבר.קלינית.Exp.רפואת עיניים.257, 1641–1648 (2019).
Lauermann, J. et al.השכיחות של שגיאות פילוח וחפצי תנועה באנגיוגרפיה OCT תלויה במחלת הרשתית.קשת קבר.קלינית.Exp.רפואת עיניים.256, 1807–1816 (2018).
פאסק, אדם ועוד.Pytorch: ספריית למידה עמוקה חיונית בעלת ביצועים גבוהים.עיבוד מתקדם של מידע עצבי.מערכת.32, 8026–8037 (2019).
דנג, J. et al.ImageNet: מאגר תמונות היררכי בקנה מידה גדול.כנס IEEE 2009 בנושא ראייה ממוחשבת וזיהוי תבניות.248–255.(2009).
Krizhevsky A., Sutzkever I. ו-Hinton GE Imagenet סיווג באמצעות רשתות עצביות קונבולוציוניות עמוקות.עיבוד מתקדם של מידע עצבי.מערכת.25, 1 (2012).