Multimodales Deep Learning von Fundusanomalien und traditionellen Risikofaktoren zur Vorhersage des kardiovaskulären Risikos

Dec 26, 2023

npj Digital Medicine Band 6, Artikelnummer: 14 (2023) Diesen Artikel zitieren

2959 Zugriffe

2 Zitate

3 Altmetrisch

Details zu den Metriken

Herz-Kreislauf-Erkrankungen (CVD), die weltweit häufigste Todesursache, sind mit komplizierten zugrunde liegenden Risikofaktoren verbunden. Wir entwickeln ein künstliches Intelligenzmodell zur Identifizierung von Herz-Kreislauf-Erkrankungen mithilfe multimodaler Daten, einschließlich klinischer Risikofaktoren und Fundusfotos vom Samsung Medical Center (SMC) für die Entwicklung und interne Validierung und von der UK Biobank für die externe Validierung. Das multimodale Modell erreicht eine Fläche unter der Receiver Operating Characteristic Curve (AUROC) von 0,781 (95 %-Konfidenzintervall [KI] 0,766–0,798) in der SMC und 0,872 (95 %-KI 0,857–0,886) in der britischen Biobank. Wir beobachten außerdem einen signifikanten Zusammenhang zwischen der Inzidenz von Herz-Kreislauf-Erkrankungen und dem prognostizierten Risiko von Risikopatienten in der britischen Biobank (Hazard Ratio [HR] 6,28, 95 %-KI 4,72–8,34). Wir veranschaulichen die Bedeutung einzelner Merkmale in der Fotografie und traditioneller Risikofaktoren. Die Ergebnisse verdeutlichen, dass die nicht-invasive Fundusfotografie ein möglicher prädiktiver Marker für CVD sein kann.

Herz-Kreislauf-Erkrankungen (CVD) sind schätzungsweise für 31 % der Todesfälle weltweit verantwortlich und jedes Jahr sterben 17,3 Millionen Menschen an CVDs. Trotz weltweiter Bemühungen im Bereich der öffentlichen Gesundheit und zunehmenden medizinischen Wissens nimmt die hohe Belastung durch Herz-Kreislauf-Erkrankungen aufgrund komplizierter Risikofaktoren, die langfristige Verhaltens- und Arzneimitteländerungen erfordern, selten ab1. Obwohl sich kein einziges kosteneffektives Screening- und Erkennungsinstrument klinisch anpassen lässt, um Herz-Kreislauf-Erkrankungen vorherzusagen, sind Risikobewertungsinstrumente wie der Framingham-Risikoscore und die europäische systematische Koronarrisikobewertung mit statistischer Modellierung, die traditionelle Risikofaktoren wie das Alter kombiniert, gut etabliert , Geschlecht, Gesamt- und High-Density-Lipoprotein-Cholesterin (HDL), Blutdruck, Rauchen und Diabetes2,3,4. In den letzten Jahrzehnten wurden anhaltende Anstrengungen unternommen, die Risikovorhersagemodelle durch die Identifizierung und Neuklassifizierung von Risikofaktoren zu verbessern5,6.

Jüngste systematische Überprüfungen haben gezeigt, dass die herkömmliche kardiovaskuläre Risikobewertung das Risiko von Herz-Kreislauf-Erkrankungen über- oder unterschätzen kann und dass sie nur begrenzte Vorteile für die Patientenergebnisse bietet7. Angesichts der Unterschiede in den Risikokategorien, der Verfügbarkeit vergleichbarer Kohorten und der Heterogenität der Risikopopulationen ist es schon jetzt schwierig, die besten Risikobewertungsmodelle zu ermitteln8,9. Kürzlich wurden vielversprechende Biomarker vorgeschlagen, die in direktem Zusammenhang mit Entzündungen und atherosklerotischen Belastungen stehen, wie der Knöchel-Arm-Index, das hochempfindliche C-reaktive Protein und der Koronararterien-Kalzium-Score (CAC). Allerdings haben diese nicht-traditionellen Modelle selten eine signifikante Verbesserung der CVD-Vorhersagen gezeigt8.

Die nicht-invasive Visualisierung atherosklerotischer Gefäßanomalien, wie z. B. eine kardiale Computertomographie oder Karotis-Ultraschallbildgebung, ist eine der genauesten klinischen Beurteilungen für Patienten mit einer niedrigen bis mittleren CVD-Wahrscheinlichkeit vor dem Test10,11,12,13. Allerdings wurde von einem routinemäßigen Screening der Koronar- oder Halsschlagadern aufgrund der geringen klinischen Wirksamkeit und Kosteneffektivität bei Patienten mit geringeren Risikofaktoren abgeraten14. Im Gegensatz dazu werden Fundusfotos (FP) aufgrund ihrer Kosteneffizienz häufig bei Vorsorgeuntersuchungen auf Augenerkrankungen eingesetzt. Darüber hinaus stellt FP weitere Informationen zur Beurteilung des CVD-Risikos bereit, einschließlich der nicht-invasiven Visualisierung atherosklerotischer Gefäßanomalien. Der pathologische Zusammenhang zwischen mikrovaskulären Veränderungen der Netzhaut und systemischen Gefäßanomalien ist allgemein bekannt15,16,17,18.

Obwohl noch keine klinische Richtlinie für die Diagnose von CVD durch FP erstellt wurde, haben Ansätze der künstlichen Intelligenz gezeigt, dass FP CVD-bezogene Biomarker sowie CVD-Ereignisse vorhersagen kann19,20,21,22,23. Rim et al. schlugen vor, dass FP einen CAC-Score vorhersagte, und Poplin et al. zeigten, dass FP ein Prädiktor für kardiovaskuläre Risikofaktoren wie Alter, Geschlecht, Raucherstatus und systolischer Blutdruck sowie für schwerwiegende unerwünschte kardiale Ereignisse sein könnte. Sie versuchten auch, zukünftige kardiovaskuläre Ereignisse vorherzusagen. Wichtig ist auch die Diagnose von Risikofaktoren für Herz-Kreislauf-Erkrankungen mithilfe nicht-invasiver und kostengünstiger Vorhersagemodelle. Dies liegt daran, dass in Ländern mit niedrigem und mittlerem Einkommen, in denen Laboreinrichtungen und Ärzte begrenzt sind und die Belastung durch Herz-Kreislauf-Erkrankungen zunimmt24, solche Vorhersagemodelle besonders vielversprechend für eine genaue Diagnose von Herz-Kreislauf-Erkrankungen und die Identifizierung von Personen mit hohem Risiko sind.

Ziel dieser Studie war die Entwicklung und Bewertung einer automatisierten Methode zur Vorhersage aktueller Herz-Kreislauf-Erkrankungen, wie sie in den Codes der Internationalen Klassifikation von Krankheiten (ICD) definiert sind, unter Verwendung von FP. Gleichzeitig haben wir die Ergebnisse mit herkömmlichen Risikoscores zur CVD-Vorhersage verglichen. Mithilfe von multimodalem Deep Learning wurde in dieser Studie versucht, Netzhautfundusanomalien aufgrund von FP mit herkömmlichen epidemiologischen Risikofaktoren zu kombinieren, um eine bessere Vorhersage von Herz-Kreislauf-Erkrankungen zu ermöglichen. Unseres Wissens wurden sowohl die traditionelle Ophthalmoskopie als auch die kürzlich digitalisierte Netzhautfotografie nicht als standardisierte Techniken zur Identifizierung von CVD klinisch validiert15,25. Klinische Studien, die den Zusammenhang zwischen mikrovaskulären Anomalien der Netzhaut und Herz-Kreislauf-Erkrankungen untersuchen, beschränken sich meist auf Bilddaten der Netzhaut mit klinischen Etiketten oder FP mit spezifischer Einstufung vaskulärer atherosklerotischer Anomalien15,18. Mittlerweile erfordert die automatisierte Beurteilung von Netzhautbildern mithilfe einer tiefen Faltungsanalyse eines neuronalen Netzwerks keine manuelle Merkmalsextraktion, wie etwa eine Einstufung, und ermöglicht so die Analyse großer Bilddaten, ohne dass verschiedene Muster von Netzhautanomalien, einschließlich Gefäßen, verloren gehen. Darüber hinaus bietet die multimodale Deep-Learning-Methode potenzielle Vorteile bei der gleichzeitigen Quantifizierung von CVD-Risiken durch FP zusammen mit den klinischen Risikofaktoren, die in herkömmlichen Risikobewertungstools verwendet werden.

Für die Modellentwicklung haben wir 1758 Bilder für CVD-Fälle und 1760 Bilder für Nicht-CVD-Kontrollen vom Samsung Medical Center (SMC) verwendet. Für die Modellvalidierung verwendeten wir 1421 Bilder für CVD-Fälle und 1533 Bilder für Nicht-CVD-Kontrollen von SMC sowie 613 Bilder für CVD-Fälle und 10.685 Bilder für Kontrollen von der UK Biobank. Die grundlegenden Patientenmerkmale sind in Tabelle 1 zusammengefasst. Die Nicht-CVD-Kontrollen wurden zufällig unterbewertet, entsprechend der Anzahl der Fälle (1758 und 1421 Bilder) im Entwicklungs- bzw. internen Validierungssatz. Der Anteil der Patienten mit Diabetes und Bluthochdruck war im SMC viel höher als in der britischen Biobank. Unser Modell erreichte eine Receiver Operating Characteristic Curve (AUROC) von bis zu 0,905 (95 %-Konfidenzintervall [CI], 0,891–0,919) unter Verwendung multimodaler Daten für die externe Validierung.

Der Kürze halber präsentieren wir die Indizes der Modelle in Tabelle 2 (Modelle 1–11). Unsere multimodalen Netzwerke (Modelle 5, 8–11) wurden unter Verwendung von FP und klinischen Risikofaktoren (CRF) entwickelt, während tiefe neuronale Netzwerke (DNN) (Modelle 3 und 7) nur unter Verwendung von CRF entwickelt wurden (Abb. 1). Die ROC-Kurven (Receiver Operating Characteristic) der Modelle sind in Abb. 2 dargestellt. Der Unterschied in den AUROCs zwischen der logistischen Regression und dem DNN war statistisch nicht signifikant. Allerdings war der AUROC von 0,781 (95 %-KI 0,766–0,798) für das multimodale Netzwerk (Modell 5) signifikant und geringfügig größer als der von 0,766 (95 %-KI 0,747–0,783) für das DNN (Modell 3) in der internen Validierung ( Tabelle 2 und Abb. 2a; p-Wert = 0,047). Das multimodale Modell (Modell 5) erreichte eine Genauigkeit, Sensitivität, Spezifität, einen positiven Vorhersagewert (PPV) und einen negativen Vorhersagewert (NPV) von 0,683, 0,871, 0,508, 0,621 bzw. 0,810, während das DNN (Modell 3) erreichten Genauigkeiten, Empfindlichkeiten, Spezifitäten, PPV und NPV von 0,719, 0,749, 0,691, 0,692 bzw. 0,748 (Ergänzungstabellen 1-2). Darüber hinaus haben wir das DNN nach Latenzzeiten von 0 und 3 Monaten ausgewertet, um CVD-Fälle zu definieren (Ergänzungstabelle 3), und wir haben ähnliche Leistungen mit dem Hauptmodell unter Verwendung einer Latenzzeit von 6 Monaten beobachtet. Ein Ensemble-Modell (Modell 4) von CNN für FP und logistische Regression für CRF erreichte einen AUROC von 0,788 (95 %-KI 0,772–0,804), was sich nicht signifikant von dem des multimodalen Netzwerks (Modell 5) unterschied (Abb. 2a; p-Wert = 0,541).

Für CNN wird die DenseNet-169-Architektur mit Faltungsschichten (d. h. dichten Blöcken) verwendet. Die Anzahl der Knoten wird auf jeder vollständig verbundenen Ebene angegeben. Die letzten drei Schichten haben eine Dropout-Rate von 0,3. DNN tiefes neuronales Netzwerk, CNN Faltungs-Neuronales Netzwerk.

Betriebskennlinien des Empfängers im internen Validierungssatz (a) und im externen Validierungssatz (b). Die Leistungen der Modelle (Modelle 1–5) sind in Tabelle 2 beschrieben. 1Die Unterschiede in den AUROCs zwischen der logistischen Regression und dem DNN sind nicht signifikant (p-Wert = 0,079 in a und p-Wert = 0,531 in b). 2Der Unterschied in den AUROCs zwischen dem DNN und dem multimodalen Netzwerk ist geringfügig signifikant (p-Wert = 0,047). 3Der Unterschied in den AUROCs zwischen dem Ensemble-Modell (D169 + logistische Regression) und dem multimodalen Netzwerk ist nicht signifikant (p-Wert = 0,541). 4Der Unterschied in den AUROCs zwischen dem DNN und dem multimodalen Netzwerk ist signifikant (p-Wert = 0,004). 5Der Unterschied in den AUROCs zwischen dem Ensemble-Modell (D169 + logistische Regression) und dem multimodalen Netzwerk ist signifikant (p-Wert < 2 × 10−16). AUROC-Bereich unter der Betriebskennlinie des Empfängers, CI-Konfidenzintervall, D169 DenseNet-169, FP-Fundusfotos, logistische logistische Regression, klinische CRF-Risikofaktoren, CRF, tiefes neuronales DNN-Netzwerk.

Die vorhergesagten Risikowerte der Modelle (Modell 3 und 5) waren mit der Prävalenz von Herz-Kreislauf-Erkrankungen verbunden (Abb. 3a). Die aus der vorhergesagten Wahrscheinlichkeit abgeleiteten Odds Ratios (ORs) zwischen der höchsten und der niedrigsten Risikogruppe betrugen 43,51 (95 %-KI 26,99–70,15) und 21,58 (95 %-KI 14,13–32,94) für das multimodale Netzwerk bzw. DNN. Wir beobachteten in beiden Modellen ein zunehmendes Muster von ORs in allen Risikogruppen. Alle ORs des multimodalen Netzwerks waren in jeder Risikogruppe höher als die ORs des DNN, mit Ausnahme der zweiten Gruppe im DNN.

Quotenverhältnisse mit 95 %-Konfidenzintervall (Fehlerbalken) entsprechend den Risikogruppen im Vergleich zur niedrigsten Risikogruppe im internen Validierungssatz (a) und externen Validierungssatz (b). D169 + DNN und DNN sind in Modell 5 bzw. Modell 3 in Tabelle 2 identisch. Herz-Kreislauf-Erkrankungen, D169 DenseNet-169, tiefes neuronales DNN-Netzwerk, FP-Fundusfotos, klinische Risikofaktoren für CRF.

Wir haben die Leistung einer unabhängigen Gruppe britischer Biobanken extern getestet. Insgesamt wurden 11.091 Teilnehmer der britischen Biobank für die Tests ausgewählt. Unser multimodales Modell (Modell 5) erreichte einen AUROC von 0,872 (95 %-KI 0,857–0,886), was deutlich größer war als der AUROC von 0,849 (95 %-KI 0,830–0,868) für das DNN (Modell 3) (Tabelle 2 und Abb . 2b; p-Wert = 0,004). Der AUROC des multimodalen Netzwerks (Modell 5) war signifikant höher als der AUROC des Ensemble-Modells (Modell 4) von CNN und logistischer Regression (Abb. 2b; p-Wert < 2 × 10−16). Die OPs in der britischen Biobank zeigten ein ähnliches Muster wie die OPs in der SMC (Abb. 3b). Die meisten ORs für das multimodale Netzwerk (Modell 5) waren höher als die für DNN (Modell 3). Als das multimodale Modell mit allen SMC-Daten trainiert wurde, stieg der AUROC in der externen Validierung weiter an (Modell 8 vs. Modell 5).

Wir verglichen multimodale Netzwerke, einschließlich CRF (Modell 8) und nicht-invasives CRF (Modell 9), die mit allen SMC-Daten trainiert wurden. Zu den nicht-invasiven CNI zählten Geschlecht, Alter, systolischer Blutdruck (SBP), Diabetes und Bluthochdruck. Darüber hinaus haben wir das 10-Jahres-Risiko für atherosklerotische Herz-Kreislauf-Erkrankungen (ASCVD) der Pooled Cohort Equation (PCE)4 (Modell 6) im externen Validierungssatz berechnet (AUROC 0,677, 95 % KI, 0,658–0,696). Abbildung 4 und Tabelle 2 zeigen den AUROC der Modelle. Das mit FP und CRF (Modell 8) trainierte multimodale Netzwerk war signifikant höher als das mit FP und nicht-invasivem CRF (Modell 9) trainierte Netzwerk (p-Wert < 2 × 10−16). Darüber hinaus erreichten die Modelle 10 und 11 für Patienten, bei denen mithilfe der Unsicherheitsquantifizierung zuverlässig festgestellt wurde, ob sie eine Herz-Kreislauf-Erkrankung hatten oder nicht, AUROCs von nahezu 0,9, ohne signifikanten Unterschied (p-Wert = 0,578). Modell 10 sagte mit Sicherheit 591 CVD-Fälle bei 9.116 Teilnehmern voraus, während Modell 11 420 CVD-Fälle bei 7219 Teilnehmern vorhersagte.

Die Leistungen der Modelle (Modelle 6–11) sind in Tabelle 2 beschrieben. Die Modelle wurden mit multimodalen Daten im SMC-Datensatz trainiert. 1Der Unterschied in den AUROCs zwischen den Modellen 8 und 9 ist signifikant (p-Wert < 2 × 10−16). 2Der Unterschied in den AUROCs zwischen den Modellen 10 und 11 ist nicht signifikant (p-Wert = 0,578). AUROC-Bereich unter der Betriebskennlinie des Empfängers, PCE Pooled Cohort Equation, DNN Deep Neural Network, klinische CRF-Risikofaktoren, SMC Samsung Medical Center.

Wir untersuchten die Inzidenz von Herz-Kreislauf-Erkrankungen bei Risikopatienten basierend auf vorhergesagten Werten. Wir haben 10.784 multimodale Datenpunkte von 10.588 Risikopatienten ausgewählt. Die vorhergesagten Werte der Modelle 8 und 9 waren statistisch mit der Inzidenz von Herz-Kreislauf-Erkrankungen bei Risikopatienten verbunden (Ergänzungstabelle 4 und ergänzende Abbildungen 2–3). Wir haben Risikopatienten zusätzlich nach dem 10-Jahres-ASCVD-Risiko geschichtet (Ergänzungstabelle 5). Risikopatienten, die als CVD-Fälle kategorisiert wurden, und Patienten mit einem hohen 10-Jahres-ASCVD-Risiko hatten ein erhöhtes Risiko für CVD (Tabelle 3; Hazard Ratio [HR] = 5,24 [95 %-KI 4,02–6,82] für Modell 9). Darüber hinaus war die Wirkung des multimodalen Netzwerks auf CVD in der 10-Jahres-ASCVD-Risikogruppe mit niedrigem Grenzwert deutlich (HR = 2,10 [95 %-KI 1,24–3,54] für Modell 9). In den Modellen 10 und 11 mit Unsicherheitsquantifizierung war das Risiko einer Herz-Kreislauf-Erkrankung auch bei Risikopatienten, bei denen eine Herz-Kreislauf-Erkrankung vorhergesagt wurde, signifikant erhöht (Abb. 5 und Ergänzungstabellen 6–7; HR = 6,28 [95 %-KI 4,72–8,34). ] für Modell 11).

Kaplan-Meier-Diagramme für inzidente Herz-Kreislauf-Erkrankungen bei Risikopatienten gemäß der vorhergesagten Klasse aus Modell 10 (a) und Modell 11 (b). Herz-Kreislauf-Erkrankung.

Unser multimodales Netzwerk kann mithilfe der Unsicherheitsquantifizierung26, der additiven Shapley-Erklärung (SHAP)27 und der Gradientengewichteten Klassenaktivierungskartierung (Grad-CAM)28 interpretiert werden. Abb. 6 zeigt drei zufällig ausgewählte echte Positive mit Interpretationen im externen Validierungssatz. Im ersten Beispiel sagte das Modell eine Ausgabe von 0,716 voraus (95 %-Unsicherheitsintervall; 0,581–0,863). Da das Intervall keinen Klassifizierungsschwellenwert von 0,5 enthielt, wurde die Vorhersage als sicher angesehen. Die Eingabevariablen wurden dann mit SHAP-Werten interpretiert, die die Merkmalsbedeutung angeben. Der Bluthochdruck zeigte die größte Merkmalsbedeutung bei der Vorhersage von Herz-Kreislauf-Erkrankungen. Schließlich wurden mit Grad-CAM, das auf dem Aufmerksamkeitsmechanismus basiert, die Papille und die Blutgefäße hervorgehoben. Die wichtigen Merkmale, die zur Vorhersage einer Herz-Kreislauf-Erkrankung beitragen, variieren je nach Patient.

Die vorhergesagten Ergebnisse (Ausgabe) werden mit der Wahrscheinlichkeit der Stichprobe und dem 95 %-Unsicherheitsintervall (links) beschrieben. In der Mitte sind die SHAP-Werte für die Beiträge der Variablen dargestellt. Eine positive Merkmalsbedeutung (rot) zeigt an, dass die Variable ein Risikofaktor für die Vorhersage von Herz-Kreislauf-Erkrankungen sein könnte, wohingegen eine negative (blaue) Variable auf ein schützendes Merkmal hinweist. Heatmap-Erstellung mit Fundusfotos mit Grad-CAM (rechts). Herz-Kreislauf-Erkrankungen, grad-CAM-gradientengewichtete Klassenaktivierungskartierung, SHAP-Shapley-Additiverklärung.

Wir haben ein multimodales Deep-Learning-Modell zur Vorhersage des CVD-Risikos unter Verwendung zweier unabhängiger Datensätze entwickelt. Wir haben ein integriertes Deep-Learning-Netzwerk entwickelt, das zwei Netzwerke mit zwei unterschiedlichen Modalitäten kombiniert: FP und CRF. Für Bilddaten wurde ein Faltungs-Neuronales Netzwerk (CNN) mit modernster Deep-Learning-Architektur konstruiert und für CRF ein einfaches DNN entwickelt. Mithilfe interner und externer Validierungssätze haben wir die Vorhersageleistung des multimodalen Netzwerks und des DNN bestätigt. Die Fotografie des Netzhautfundus ist ein guter, nicht-invasiver Indikator für mikrovaskuläre Veränderungen. In einer kürzlich durchgeführten Studie wurde jedoch ein reines Bildmodell entwickelt, das einen AUROC von 0,70 erreichte, was weitere Studien zur Verbesserung der Vorhersageleistung erfordert20. Der Netzhautfundus hat das Potenzial, Biomarker wie das C-reaktive Protein zu bewerten19.

CRFs wie Alter, Geschlecht, SBP, Gesamtcholesterin, HDL-Cholesterin, Diabetes und Bluthochdruck sind bekannte kardiovaskuläre Risikofaktoren. Ein AUROC von 0,73 zur Vorhersage schwerer unerwünschter kardialer Ereignisse in einem von Poplin et al. entwickelten multimodalen Modell. gaben an, dass die Verwendung verschiedener Faktoren zu besseren Vorhersageergebnissen führen kann20. Unsere Ergebnisse zeigten auch, dass FP derzeit ein kardiovaskulärer Risikofaktor bei der Diagnose von Herz-Kreislauf-Erkrankungen sein kann und ein multimodales Modell eine deutlich höhere Leistung erzielen kann als ein Modell mit einer einzelnen Modalität (Tabelle 2 und Abb. 2, 3). Dieses Muster war in unserem multimodalen Netzwerk ausgeprägter als im DNN, als es extern mithilfe der britischen Biobank validiert wurde. Interessanterweise waren die AUROCs in der britischen Biobank viel höher als die von SMC. Patienten mit SMC, die die Abteilung für Augenheilkunde aufsuchten, könnten mehr Grunderkrankungen haben als diejenigen in der britischen Biobank, die als allgemein gesündere Teilnehmer galten. Rassenunterschiede können diese Ergebnisse ebenfalls beeinflussen. Wir haben die Modelle mithilfe eines ausgewogenen Datensatzes entwickelt und sie mithilfe eines stark unausgeglichenen Datensatzes extern validiert. Diese Varianz könnte sich auf die Leistungsunterschiede ausgewirkt haben. Darüber hinaus stellten wir das Potenzial eines multimodalen Netzwerks vor, das nur mit FP und nicht-invasivem CRF trainiert wurde. Die AUROC von Modell 11 mit nicht-invasiver CRF und FP unter Verwendung der Unsicherheit unterschied sich nicht signifikant von der AUROC von Modell 10 unter Verwendung invasiver klinischer Messungen. Die Vorhersage mit nicht-invasiver CRF kann für die Diagnose von Herz-Kreislauf-Erkrankungen in klinischen Umgebungen mit begrenzten Ressourcen von entscheidender Bedeutung sein. Darüber hinaus zeigten unsere Ergebnisse einen signifikanten Zusammenhang zwischen der Häufigkeit zukünftiger CVD-Ereignisse und den vorhergesagten Ergebnissen. Die Ergebnisse deuten darauf hin, dass unsere multimodalen Modelle auch das Potenzial haben, zukünftige CVD-Ereignisse vorherzusagen.

Frühere Studien18,29,30,31,32 haben gezeigt, dass mikrovaskuläre Anomalien der Netzhaut direkt mit einem erhöhten CVD-Risiko verbunden sind; Sie wurden jedoch nicht klinisch untersucht. Dennoch wurde auch Deep Learning angewendet, um detailliertere Informationen aus Fundusbildern zu extrahieren, um die Bestimmung des CVD-Risikos vorherzusagen19,20,33,34,35. Interessanterweise haben Rim et al. entwickelte ein Deep-Learning-Modell zur Vorhersage des kardiovaskulären Risikos mithilfe von CAC-Scores aus Netzhautfotos19. Sie zeigten das Potenzial von Netzhautfotos als Prädiktor für Herz-Kreislauf-Erkrankungen. In anderen Studien wurden kardiovaskuläre Risikofaktoren, einschließlich Alter und Geschlecht, mit retinalem FP20,21 in Verbindung gebracht. Traditionell wurden andere Studien durchgeführt, um Herz-Kreislauf-Erkrankungen anhand konventioneller Risikofaktoren vorherzusagen36,37,38. Es wurden weitere Biomarker zur Diagnose von CVD39 entdeckt. Im Gegensatz dazu ermöglichen uns aktuelle State-of-the-Art-Algorithmen die Entwicklung eines Modells mit multimodalen Daten. Wir konzentrieren uns derzeit auf die Vorhersage von Herz-Kreislauf-Erkrankungen, um Patienten mit leicht zugänglichen medizinischen Informationen bei der Diagnose zu helfen. Wir schlagen außerdem vor, dass die vorhergesagten Ergebnisse unseres Modells mit zukünftigen CVD-Ereignissen in Zusammenhang standen. Unser mit FP, CRF und nicht-invasivem CRF trainiertes multimodales Modell zeigte eine Verbesserung bei der Neuklassifizierung von Fällen und Kontrollen, wenn eine neue Modalität (Bilder) kombiniert wurde (Tabelle 3). Unsere Ergebnisse legen nahe, dass dieser Ansatz dazu beitragen kann, komplexe Krankheiten wie Herz-Kreislauf-Erkrankungen vorherzusagen und zu verhindern.

Unsere Studie hatte mehrere Einschränkungen. Zunächst definierten wir CVD-Fälle als Teilnehmer, bei denen in einem einzigen medizinischen Zentrum eine CVD diagnostiziert wurde. Diese operative Definition könnte verzerrt sein, da bei einigen Patienten möglicherweise in anderen medizinischen Zentren Herz-Kreislauf-Erkrankungen diagnostiziert wurden. Wir haben unsere Modelle jedoch extern mithilfe der britischen Biobank validiert. Zweitens haben wir unser Modell anhand von Daten aus einer relativ kleinen Stichprobe trainiert. Wir haben Teilnehmer mit fehlenden Netzhautfundusbildern oder elektronischen Krankenakten (EMR) ausgeschlossen. Aus Gründen der Generalisierbarkeit haben wir jedoch 30.000 unbeschriftete Bilder mit unüberwachtem Lernen vorab trainiert und den Testdaten einen ausreichend großen Teil zugewiesen. Die Anzahl der Proben im Trainingssatz war nahezu identisch mit der im internen Validierungssatz. Darüber hinaus beobachteten wir konsistente Ergebnisse, indem wir die UK Biobank als externen Validierungssatz verwendeten. Drittens spiegelte der für die Modellentwicklung verwendete Datensatz nicht die tatsächliche Inzidenz von Herz-Kreislauf-Erkrankungen wider. Den Schwellenwert für die Klassifizierung haben wir in der Entwicklung auf 0,5 gesetzt. Wir haben bei der externen Validierung einen identischen Schwellenwert angewendet, der hinsichtlich des CVD-Ergebnisses unausgewogen war. Das Modell sagte unabhängig von der Verteilung einen unsichtbaren Patienten voraus. Darüber hinaus beobachteten wir konsistente Ergebnisse im unausgeglichenen Datensatz (613 CVD-Fälle vs. 10.685 Nicht-CVD-Kontrollen). Viertens stammten die Teilnehmer, deren Daten zum Training unseres Modells verwendet wurden, aus einem einzigen Land, die in einem anderen Land durchgeführte externe Validierung war jedoch konsistent. In zukünftigen Studien kann das Training eines Modells mit einem integrierten Datensatz oder die Übertragung von Erkenntnissen aus einem großen Datensatz auf den Zieldatensatz die Vorhersageleistung verbessern. Fünftens hatte diese Studie ein retrospektives Design. Unser Modell zeigte, dass trainierte Merkmale aus einem Netzhautfundusbild mit kardiovaskulären Ereignissen verbunden sind und ein neuer kardiovaskulärer Risikofaktor sein könnten. Dennoch beobachteten wir einen Zusammenhang zwischen dem vorhergesagten Score und zukünftigen CVD-Ereignissen. Unter Verwendung des Konzepts des multimodalen Deep Learning sind zukünftige Arbeiten erforderlich, um fortschrittliche multimodale Modelle der künstlichen Intelligenz mit verschiedenen Arten von Daten wie Bildgebung, EMR, biologischen Signalen und Umweltfaktoren zu entwickeln und zu bewerten. Es ist auch wichtig, das optimale Modell mithilfe von Deep Learning zusätzlich zu den neuesten Methoden des automatisierten maschinellen Lernens zu finden40,41. Darüber hinaus erfordert die Einführung solcher Modelle im öffentlichen Gesundheitssystem oder in Kliniken eine Kostenwirksamkeitsanalyse für den Vergleich von CRF- und nicht-invasiven CRF-Modellen.

Zusammenfassend legen unsere Ergebnisse nahe, dass der Netzhautfundus als Biomarker zur Vorhersage des kardiovaskulären Risikos mithilfe zweier unabhängiger Datensätze verwendet werden kann. Wir zeigten verbesserte Ergebnisse, einschließlich des Netzhautfundus, für die Klassifizierung der CVD-Fälle. Zukünftige Studien sind erforderlich, um ein multimodales Modell unter Verwendung nicht-invasiver Faktoren zu entwickeln und die klinischen Auswirkungen auf Netzhaut-FPs zu bestimmen.

Diese Studie verwendete eine multimodale Deep-Learning-Methode zur Vorhersage von Herz-Kreislauf-Erkrankungen und bewertete gleichzeitig deren Leistung mit klinischen Risikofaktoren für Herz-Kreislauf-Erkrankungen in den Validierungssätzen.

Die ethische Genehmigung für das Studienprotokoll wurde vom Institutional Review Board (Nr.: 2016-05-561) des SMC erteilt. Die Nutzung der britischen Biobank wurde vom National Research Ethics Committee (REC-Referenz 11/NW/0382) genehmigt. Die Daten des SMC wurden retrospektiv gesammelt und im klinischen Data Warehouse des SMC anonymisiert. Wir verwendeten Daten aus dem SMC von Patienten, die eine Einverständniserklärung für die Forschung abgegeben hatten. Alle Teilnehmer der britischen Biobank gaben eine schriftliche Einverständniserklärung ab.

In die Studie wurden Patienten einbezogen, die das SMC zwischen März 2010 und Mai 2016 mit verfügbarem FP besuchten. Retinale FP und passende EMR wurden retrospektiv ermittelt. Patienten mit einer Netzhaut- oder Glaskörperpathologie, die die Erkennung mikrovaskulärer Veränderungen im FP beeinträchtigt (z. B. Netzhautablösung, Makuladegeneration oder Glaskörperblutung), wurden ausgeschlossen. Die Fundusbilder wurden von einem Augenarzt überprüft und Bilder von Netzhauterkrankungen oder Bilder von geringer Qualität, darunter verschwommene, künstliche, unterbelichtete Bilder und Bilder mit sehr geringer Kontrastauflösung, wurden aus dem Entwicklungssatz entfernt. Zusätzlich wurden Diagnosecodes (Internationale Klassifikation der Krankheiten, 10. Revision, ICD-10, H33 und H353, H431) angewendet, um FP bei Netzhauterkrankungen auszuschließen. Die Flussdiagramme der Studienpopulation sind in der ergänzenden Abbildung 1 dargestellt.

Gemäß dem Diagnosecode im EMR wurden CVD-Fälle als Erwachsene (≥ 18 Jahre alt) definiert, die unsere Klinik mit koronarer Herzkrankheit (ICD-10, I20–I25) oder zerebrovaskulärer Erkrankung (ICD-10, I63–I69) aufsuchten. mindestens 6 Monate vor der Einnahme des Netzhaut-FP. Nicht-CVD-Kontrollen wurden als Erwachsene ohne CVD definiert. Wir haben eine Latenzzeit von 6 Monaten festgelegt, da davon ausgegangen wurde, dass es sich um den Zeitraum zwischen Symptompräsentation und Diagnose handelt.

Wir wählten zwischen 2010 und 2016 2.543 Patienten mit FP und EMR aus 37.395 Patienten mit retinalem FP im SMC aus. Patienten in der Kontrollgruppe ohne CVD wurden nach dem Zufallsprinzip für eine Unterstichprobe ausgewählt, um eine Überanpassung zu verhindern. Die Teilnehmer wurden zur Modellentwicklung und -validierung nach dem Zufallsprinzip in zwei Gruppen eingeteilt: 3518 FP und EMR von 2026 Patienten zur Entwicklung und 2954 FP und EMR von 517 Patienten zur internen Validierung. Zusätzliche unabhängige Netzhautbilder mit unvollständiger EMR wurden verwendet, um das Deep-Learning-Modell vorab zu trainieren. EMR, die innerhalb von 6 Monaten ab dem Datum der Fundusuntersuchung erstellt wurden, wurden verwendet, um Daten zu sieben klinischen CVD-Risikofaktoren zu sammeln, die im herkömmlichen CVD-Risikotool4 verwendet wurden. Daten zu fünf der Risikofaktoren, darunter Geschlecht, Alter, systolischer Blutdruck, Diabetes und Bluthochdruck, wurden nicht-invasiv aus dem EMR erfasst. Die übrigen Risikofaktoren Gesamt- und HDL-Cholesterin wurden in den Blutproben gemessen. Die Auswahl der Risikofaktoren erfolgte auf Basis einer Leitlinie zur Beurteilung des CVD-Risikos, die vom American College of Cardiology (ACC) und der American Heart Association (AHA)4 entwickelt wurde. Als klinische Prädiktoren normalisierten wir das Alter, den systolischen Blutdruck sowie den Gesamt- und HDL-Cholesterinspiegel. Netzhautbilddaten und sieben strukturierte klinische Datensätze wurden gleichzeitig verwendet, um das tiefe multimodale Netzwerk zu trainieren. Patienten mit fehlenden Daten wurden ausgeschlossen.

Um die externe Validität zu testen, haben wir geeignete, nicht identifizierte Teilnehmer aus etwa 500.000 Teilnehmern einer potenziellen Kohorte, der UK Biobank, ausgewählt (ergänzende Abbildung 1). Für die externe Validierung wurden Teilnehmer der britischen Biobank mit FP und EMR auf die gleiche Weise wie oben beschrieben definiert. Wir schlossen außerdem Patienten mit diagnostizierter koronarer Herzkrankheit und zerebrovaskulärer Erkrankung mit den ICD-9-Codes 410–412 bzw. 433–438 ein. Schließlich wurden 11.298 FP und EMR von 11.091 Patienten erhalten.

Alle Netzhautbilder wurden mit einer Funduskamera (TRC-50DX Retinal Camera; Topcon Corporation, Tokio, Japan) aufgenommen. Die Bilder in voller Auflösung wurden in JPEG konvertiert, mit mittlerem Zuschnitt, zufälliger horizontaler und vertikaler Spiegelung, zufälliger Drehung innerhalb von 30° zur Datenerweiterung, zufälliger Helligkeit mit einem Anpassungsfaktor von 0,1 und zufälligem Zoom mit einem Anpassungsfaktor von 0,1; Anschließend wurden sie zur Verwendung im neuronalen Netzwerk in eine Auflösung von 448 × 448 Pixel umgewandelt. Alle Bilder und EMR von geeigneten Patienten wurden vor ihrer Übermittlung an Datenanalysten identifiziert.

In dieser Studie haben wir eine multimodale Deep-Learning-Methode verwendet, bei der es sich um einen Algorithmus handelt, der Netzwerke mit mehreren Quellen trainiert. Es wurde ein multimodales Netzwerk geschaffen, um ein CNN für Netzhautbilder und ein DNN für klinische Risikofaktoren zu kombinieren (Abb. 1).

Zur Analyse der Bilddaten haben wir die DenseNet-169-Architektur verwendet, die im Vergleich zu anderen CNN-Architekturen eine gute Leistung mit weniger Parametern aufweist42. DenseNet-169 umfasst fünf Faltungsschichten und vier dichte Blöcke, darunter 164 Faltungsschichten. Darüber hinaus haben wir es zur Verkettung an vollständig verbundene Ebenen angehängt. Um die Klassifizierungsleistung zu verbessern, haben wir das Faltungs-Neuronale Netzwerk mithilfe von unüberwachtem Lernen vorab trainiert. Wir haben einen Autoencoder mit einer U-Net-Architektur erstellt, einschließlich der DenseNet-Architektur als Encoder und Faltungsschichten mit einer Sprungverbindung als Decoder. Der Autoencoder wurde darauf trainiert, einen FP so nah wie möglich an sich selbst vorherzusagen. Wir haben die vorab trainierte DenseNet-Architektur als Teil des multimodalen Netzwerks verwendet.

Wir haben ein DNN verwendet, um die nichtlinearen Wechselwirkungen zwischen CRF zu lernen. Das Netzwerk bestand aus fünf vollständig verbundenen Schichten, gefolgt von einer gleichgerichteten linearen Einheit. Die Gewichte der Netzwerke wurden zufällig initialisiert.

Diese beiden separaten Netzwerke wurden dann zu vier vollständig verbundenen Schichten mit einer Dropout-Rate von 0,3 verkettet. Die letzte Schicht mit einer Sigmoidfunktion wurde hinzugefügt, um die Krankheitsklassifizierung durchzuführen. Der binäre Kreuzentropieverlust des Modells wurde durch stochastischen Gradientenabstieg mit einer Lernrate von 0,001 minimiert, alle 10 Epochen 0,9-mal abgesenkt und in 20 Epochen mit einer Stapelgröße von 4 trainiert.

Wir haben den Bereich unter dem AUROC bewertet, um Patienten mit und ohne Krankheit auf der Grundlage prädiktiver Werte zu klassifizieren. Wir haben 95 %-Konfidenzintervalle für den AUROC mit 1000 Bootstrap-Stichproben erhalten. Die Tests von DeLong wurden durchgeführt, um die AUROCs statistisch zu vergleichen. Zusätzlich wurden Sensitivität, Spezifität, PPV und NPV zur Bewertung herangezogen. Um die Vorhersageleistung zwischen den Risikobewertungsmodellen mit und ohne Netzhautbilder zu vergleichen, wurde eine multivariable logistische Regression mit den Vorhersagewerten aus dem multimodalen Netzwerk durchgeführt. Wir haben die Vorhersagewerte in Dezile geschichtet und die ORs jedes Dezils im Vergleich zum niedrigsten Dezil geschätzt.

Wir haben das 10-Jahres-ASCVD-Risiko mithilfe des PCE zum Vergleich mit unseren Modellen4 berechnet. Das 10-Jahres-Risiko für ASCVD wurde gemäß der Definition der American College of Cardiology Foundation kategorisiert. Wir haben von der britischen Biobank einen AUROC des 10-Jahres-ASCVD-Risikos erhalten.

In der britischen Biobank haben wir außerdem bestätigt, dass der vorhergesagte Score mit der Inzidenz von Herz-Kreislauf-Erkrankungen bei Risikopatienten zusammenhängt. Als Risikopatienten wurden Patienten definiert, bei denen mindestens sechs Monate vor dem FP keine Herz-Kreislauf-Erkrankung diagnostiziert wurde. Wir führten Log-Rank-Tests für die Inzidenz von Herz-Kreislauf-Erkrankungen durch, indem wir die Risikogruppen anhand der vorhergesagten Werte für Risikopatienten kategorisierten und die Überlebenswahrscheinlichkeit mithilfe von Kaplan-Meier-Kurven grafisch darstellten. Zur Schätzung der HRs und 95 %-KIs wurde eine Cox-Proportional-Hazards-Analyse durchgeführt. Die Kategorien waren entsprechend der vorhergesagten Punktzahl niedrig (untere 20 %), hoch (oberste 20 %) und mittel (andere). Aus einer anderen Perspektive können Risikopatienten auch in zwei Gruppen eingeteilt werden: Patienten, bei denen eine Herz-Kreislauf-Erkrankung vorhergesagt wurde, und solche, bei denen eine Nicht-Herz-Kreislauf-Erkrankung als Kontrollgruppe vorhergesagt wurde.

Wir verwendeten TensorFlow (Version 2.9.0, Google, Mountain View, CA, USA) zum Trainieren der Deep-Learning-Modelle und R-Software (Version 3.6.3, Wien, Österreich) für die Datenverarbeitung und -auswertung. Die statistische Signifikanz wurde auf p < 0,05 festgelegt.

Wir haben drei Ansätze zur Interpretation unseres Modells verwendet; Unsicherheitsquantifizierung26, SHAP27 und Grad-CAM28. Erstens gibt die Unsicherheitsquantifizierung an, wie sicher das Modell für eine bestimmte Vorhersage ist. Mithilfe unseres Modells haben wir das Unsicherheitsintervall jeder Testprobe mit 100 Wiederholungen geschätzt. Das Intervall wurde mit einem gleichseitigen glaubwürdigen Intervall mit einem Konfidenzniveau von 0,05 berechnet; I0,05 = [q0,03, q0,98] wobei qn das n-te Perzentil der Posteriorverteilung ist. Wir gingen davon aus, dass die Klassifizierung der Ausgabe zuverlässig war, wenn das 95 %-Unsicherheitsintervall für die Ausgabe keinen Klassifizierungsschwellenwert von 0,5 enthielt. Zweitens haben wir ein Framework zur Interpretation von Vorhersagen mithilfe von SHAP verwendet, um für jede Vorhersage ein Maß an Merkmalswichtigkeit bereitzustellen. Die SHAP-Werte sind die Shapley-Werte der bedingten Erwartung, die die Beiträge jeder einzelnen Variablen veranschaulichen. Schließlich haben wir Grad-CAM verwendet, um die hervorgehobenen wichtigen Regionen zu visualisieren, damit das Modell das Ziel vorhersagen kann28. Die Grad-CAM nutzt Gradienteninformationen aus der letzten Faltungsschicht mit Rückausbreitung. Die Gradienten wurden global gemittelt, um die Bedeutung der Feature-Maps für ein Ziel zu berechnen. Die geschätzte Wichtigkeit der Feature-Map stellt den Konfidenzwert des Modells dar.

Weitere Informationen zum Forschungsdesign finden Sie in der mit diesem Artikel verlinkten Nature Research Reporting Summary.

Aufgrund von Einschränkungen beim Datenaustausch sind nicht alle SMC-Daten öffentlich verfügbar. Die Daten der britischen Biobank sind mit einem ordnungsgemäßen Antragsverfahren unter https://www.ukbiobank.ac.uk/enable-your-research/apply-for-access verfügbar. Für weitere Informationen kann sich ein interessierter Forscher an den entsprechenden Autor wenden.

Der in dieser Studie verwendete DenseNet-Code ist unter https://github.com/liuzhuang13/DenseNet verfügbar. Der Quellcode und die vorab trainierten Modelle für diese Studie stehen dem entsprechenden Autor auf wissenschaftlich begründete Anfrage zur Verfügung.

Virani, SS et al. Statistiken zu Herzerkrankungen und Schlaganfällen – Aktualisierung 2021: ein Bericht der American Heart Association. Auflage 143, e254–e743 (2021).

Artikel Google Scholar

Anderson, KM, Odell, PM, Wilson, PW & Kannel, WB Risikoprofile für Herz-Kreislauf-Erkrankungen. Bin. Herz J. 121, 293–298 (1991).

Artikel CAS Google Scholar

D'Agostino, RB et al. Allgemeines kardiovaskuläres Risikoprofil für den Einsatz in der Primärversorgung. Auflage 117, 743–753 (2008).

Artikel Google Scholar

Goff, DC et al. ACC/AHA-Leitlinie 2013 zur Bewertung des kardiovaskulären Risikos: ein Bericht der Task Force des American College of Cardiology/American Heart Association zu Praxisrichtlinien. Marmelade. Slg. Cardiol. 63, 2935–2959 (2014).

Artikel Google Scholar

Ridker, PM, Buring, JE, Rifai, N. & Cook, NR Entwicklung und Validierung verbesserter Algorithmen zur Bewertung des globalen kardiovaskulären Risikos bei Frauen: der Reynolds Risk Score. Jama 297, 611–619, https://doi.org/10.1001/jama.297.6.611 (2007).

Artikel CAS Google Scholar

Mosca, L. et al. Wirksamkeitsbasierte Leitlinien zur Prävention von Herz-Kreislauf-Erkrankungen bei Frauen – Aktualisierung 2011: eine Leitlinie der American Heart Association. Auflage 123, 1243–1262, https://doi.org/10.1161/CIR.0b013e31820faaf8 (2011).

Artikel Google Scholar

Karmali, KN et al. Risikobewertung zur Primärprävention von Herz-Kreislauf-Erkrankungen. Cochrane-Datenbanksystem. Rev. 3, Cd006887, https://doi.org/10.1002/14651858.CD006887.pub4 (2017).

Artikel Google Scholar

Lin, JS et al. Nichttraditionelle Risikofaktoren bei der Risikobewertung von Herz-Kreislauf-Erkrankungen: aktualisierter Evidenzbericht und systematische Überprüfung für die US Preventive Services Task Force. JAMA 320, 281–297, https://doi.org/10.1001/jama.2018.4242 (2018).

Artikel Google Scholar

Damen, JA et al. Vorhersagemodelle für das Risiko von Herz-Kreislauf-Erkrankungen in der Allgemeinbevölkerung: systematische Überprüfung. BMJ 353, i2416, https://doi.org/10.1136/bmj.i2416 (2016).

Artikel Google Scholar

Newby, DE et al. Koronare CT-Angiographie und 5-Jahres-Risiko eines Myokardinfarkts. N. engl. J. Med. 379, 924–933, https://doi.org/10.1056/NEJMoa1805971 (2018).

Artikel Google Scholar

Hoffmann, U. et al. Prognostischer Wert nichtinvasiver kardiovaskulärer Tests bei Patienten mit stabilen Brustschmerzen: Erkenntnisse aus der PROMISE-Studie (Prospective Multicenter Imaging Study for Evaluation of Chest Pain). Auflage 135, 2320–2332, https://doi.org/10.1161/circulationaha.116.024360 (2017).

Artikel Google Scholar

Gottlieb, I. & Lima, JA Screening von Hochrisikopatienten mit Computertomographie-Angiographie. Auflage 117, 1318–1332, https://doi.org/10.1161/circulationaha.107.670042 (2008).

Rubin, GD, Leipsic, J., Joseph Schoepf, U., Fleischmann, D. & Napel, S. CT-Angiographie nach 20 Jahren: Ein Wandel in der Charakterisierung von Herz-Kreislauf-Erkrankungen schreitet weiter voran. Radiology 271, 633–652, https://doi.org/10.1148/radiol.14132232 (2014).

Artikel Google Scholar

LeFevre, ML Screening auf asymptomatische Karotisstenose: Empfehlungserklärung der US Preventive Services Task Force. Ann. Praktikant. Med. 161, 356–362, https://doi.org/10.7326/m14-1333 (2014).

Artikel Google Scholar

Dumitrascu, OM et al. Mikrovaskuläre Anomalien der Netzhaut als Ersatzmarker einer zerebrovaskulären ischämischen Erkrankung: eine Metaanalyse. J. Schlaganfall Cerebrovasc. Dis.: Aus. J. Natl Stroke Assoc. 27, 1960–1968, https://doi.org/10.1016/j.jStrokecerebrovasdis.2018.02.041 (2018).

Artikel Google Scholar

Hughes, AD et al. Zusammenhang zwischen Retinopathie und mikrovaskulären Anomalien der Netzhaut mit Schlaganfall und zerebrovaskulären Erkrankungen. Strich 47, 2862–2864, https://doi.org/10.1161/Strokeaha.116.014998 (2016).

Artikel CAS Google Scholar

McClintic, BR, McClintic, JI, Bisognano, JD & Block, RC Der Zusammenhang zwischen mikrovaskulären Anomalien der Netzhaut und koronarer Herzkrankheit: eine Übersicht. Bin. J. Med. 123, 374.e371–377, https://doi.org/10.1016/j.amjmed.2009.05.030 (2010).

Artikel Google Scholar

Wong, TY et al. Mikrovaskuläre Anomalien der Netzhaut und Schlaganfälle: die Atherosclerosis Risk in Communities-Studie. Lancet 358, 1134–1140, https://doi.org/10.1016/s0140-6736(01)06253-5 (2001).

Artikel CAS Google Scholar

Rim, TH et al. Deep-Learning-basierte kardiovaskuläre Risikostratifizierung mithilfe von Koronararterien-Kalziumwerten, die anhand von Netzhautfotos vorhergesagt werden. Lancet Digital Health 3, e306–e316 (2021).

Artikel Google Scholar

Poplin, R. et al. Vorhersage kardiovaskulärer Risikofaktoren aus Netzhautfundusfotos mittels Deep Learning. Nat. Biomed. Ing. 2, 158–164 (2018).

Artikel Google Scholar

Gerrits, N. et al. Alter und Geschlecht beeinflussen die Deep-Learning-Vorhersage kardiometabolischer Risikofaktoren anhand von Netzhautbildern. Wissenschaft. Rep. 10, 1–9 (2020).

Artikel Google Scholar

Cheung, CY et al. Ein Deep-Learning-System zur Beurteilung des Risikos von Herz-Kreislauf-Erkrankungen durch Messung der Größe der Netzhautgefäße. Nat. Biomed. Ing. 5, 498–508, https://doi.org/10.1038/s41551-020-00626-4 (2021).

Artikel CAS Google Scholar

Zhang, K. et al. Deep-Learning-Modelle zur Erkennung und Vorhersage der Inzidenz chronischer Nierenerkrankungen und Typ-2-Diabetes anhand von Netzhautfundusbildern. Nat. Biomed. Ing. 5, 533–545, https://doi.org/10.1038/s41551-021-00745-6 (2021).

Artikel CAS Google Scholar

Peiris, D. et al. Risikoprofil und Managementpraktiken für Herz-Kreislauf-Erkrankungen in 45 Ländern mit niedrigem und mittlerem Einkommen: Eine Querschnittsstudie mit landesweit repräsentativen Umfragedaten auf individueller Ebene. PLoS Med. 18, e1003485 (2021).

Artikel Google Scholar

De Boever, P., Louwies, T., Provost, E., Int Panis, L. & Nawrot, TS Fundusfotografie als praktisches Instrument zur Untersuchung mikrovaskulärer Reaktionen auf Risikofaktoren für Herz-Kreislauf-Erkrankungen in epidemiologischen Studien. J. Vis. Exp.: JoVE, e51904, https://doi.org/10.3791/51904 (2014).

Gal, Y. & Ghahramani, Z. Dropout als bayesianische Näherung: Darstellung der Modellunsicherheit beim Deep Learning. Auf internationaler Konferenz zum Thema maschinelles Lernen. 48 1050–1059 (PMLR) (2016).

Lundberg, SM & Lee, S.-I. Ein einheitlicher Ansatz zur Interpretation von Modellvorhersagen. In Advances in Neural Information Processing Systems 30 (Hrsg. Guyon, I. et al.) 4765–4774 (Curran Associates, Inc.) (2017).

Selvaraju, RR et al. Grad-Cam: Visuelle Erklärungen aus tiefen Netzwerken mittels Gradienten-basierter Lokalisierung. In Proceedings der IEEE International Conference on Computer Vision. 618–626 (2017).

Campbell, MD et al. Einfluss einer idealen kardiovaskulären Gesundheit im Kindesalter auf das Mikrogefäßsystem der Netzhaut im mittleren Erwachsenenalter: Studie zum kardiovaskulären Risiko bei jungen Finnen. Marmelade. Herz-Assoc. 7, e009487 (2018).

Artikel CAS Google Scholar

Ding, J. et al. Netzhautgefäßkaliber und die Entwicklung von Bluthochdruck: eine Metaanalyse der Daten einzelner Teilnehmer. J. Hypertens. 32, 207 (2014).

Artikel CAS Google Scholar

Owen, CG et al. Assoziationen der retinalen Vaskulometrie mit kardiometabolischen Risikofaktoren in der europäischen prospektiven Untersuchung von Krebs – Norfolk-Studie. Ophthalmology 126, 96–106 (2019).

Artikel Google Scholar

Seidelmann, SB et al. Kaliber der Netzhautgefäße bei der Vorhersage langfristiger kardiovaskulärer Ergebnisse: Das Atheroskleroserisiko in einer Gemeinschaftsstudie. Auflage 134, 1328–1338 (2016).

Artikel Google Scholar

Gulshan, V. et al. Entwicklung und Validierung eines Deep-Learning-Algorithmus zur Erkennung diabetischer Retinopathie in Netzhautfundusfotos. JAMA 316, 2402–2410 (2016).

Artikel Google Scholar

Vaghefi, E. et al. Erkennung des Raucherstatus anhand von Netzhautbildern; eine Convolutional Neural Network-Studie. Wissenschaft. Rep. 9, 1–9 (2019).

Artikel Google Scholar

Ting, DSW & Wong, TY Kardiovaskuläre Risikofaktoren im Auge behalten. Nat. Biomed. Ing. 2, 140–141 (2018).

Artikel Google Scholar

Lloyd-Jones, DM Kardiovaskuläre Risikovorhersage: Grundkonzepte, aktueller Status und zukünftige Richtungen. Auflage 121, 1768–1777 (2010).

Artikel Google Scholar

Quesada, JA et al. Maschinelles Lernen zur Vorhersage des kardiovaskulären Risikos. Int. J. Clin. Üben. 73, e13389 (2019).

Artikel Google Scholar

Weng, SF, Reps, J., Kai, J., Garibaldi, JM & Qureshi, N. Kann maschinelles Lernen die Vorhersage kardiovaskulärer Risiken anhand routinemäßiger klinischer Daten verbessern? PloS One 12, e0174944 (2017).

Artikel Google Scholar

Wang, TJ Bewertung der Rolle zirkulierender, genetischer und bildgebender Biomarker bei der Vorhersage des kardiovaskulären Risikos. Auflage 123, 551–565 (2011).

Artikel Google Scholar

Erickson, N., et al. Autogluon-tabellarisch: Robustes und genaues AutoML für strukturierte Daten. Vorabdruck bei arXiv https://arxiv.org/abs/2003.06505 (2020).

He, X., Zhao, K. & Chu, X. AutoML: Ein Überblick über den Stand der Technik. Wissensbasiertes Syst. 212, 106622 (2021).

Artikel Google Scholar

Huang, G., Liu, Z., Van Der Maaten, L. & Weinberger, KQ Dicht verbundene Faltungsnetzwerke. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 4700–4708 (2017).

Referenzen herunterladen

Diese Forschung wurde durch ein Stipendium der National Research Foundation of Korea unterstützt, das vom Ministerium für Wissenschaft und Informations- und Kommunikationstechnologien (NRF-2022R1A2C2009998) und dem Bildungsministerium der koreanischen Regierung (NRF-2021R1C1C1007795 und NRF-2022R1I1A4071660), Südkorea, finanziert wurde.

Diese Autoren haben gleichermaßen beigetragen: Yeong Chan Lee, Jiho Cha.

Diese Autoren haben diese Arbeit gemeinsam betreut: Dong Hui Lim, Hong-Hee Won.

Abteilung für digitale Gesundheit, Samsung Advanced Institute for Health Sciences & Technology (SAIHST), Sungkyunkwan-Universität, Samsung Medical Center, Seoul, Republik Korea

Yeong Chan Lee, Injeong Shim, Dong Hui Lim und Hong-Hee Won

Forschungsinstitut für zukünftige Medizin, Samsung Medical Center, Seoul, Republik Korea

Yeong Chan Lee

Graduate School of Future Strategy, Korea Advanced Institute of Science and Technology (KAIST), Daejeon, Republik Korea

Jiho Cha

Samsung Genome Institute, Samsung Medical Center, Sungkyunkwan University School of Medicine, Seoul, Republik Korea

Woong-Yang Park & ​​​​Hong-Hee Won

Abteilung für Augenheilkunde, Samsung Medical Center, Sungkyunkwan University School of Medicine, Seoul, Republik Korea

Se Woong Kang & Dong Hui Lim

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

JC, DHL und H.-HW haben die Studie entworfen. DHL, SWK, W.-YP und H.-HW stellten die in dieser Studie verwendeten Datensätze zur Verfügung. IS und YCL führten die Datenvorverarbeitung durch. YCL führte Deep-Learning-Analysen, statistische Analysen und externe Validierungen durch. YCL und H.-HW überprüften die statistischen Ergebnisse. JC und DHL interpretierten die klinischen Ergebnisse. YCL und JC verfassten das Manuskript unter der Aufsicht von DHL und H.-HW. Alle Autoren trugen kritische Überarbeitungen zum Manuskript bei und genehmigten das endgültige Manuskript. YCL und JC haben als Co-Erstautoren gleichermaßen zu dieser Arbeit beigetragen.

Korrespondenz mit Dong Hui Lim oder Hong-Hee Won.

Woong-Yang Park war bei der Handelsfirma GENINUS beschäftigt. Die übrigen Autoren geben an, dass keine konkurrierenden finanziellen oder nichtfinanziellen Interessen bestehen.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Lee, YC, Cha, J., Shim, I. et al. Multimodales Deep Learning von Fundusanomalien und traditionellen Risikofaktoren zur Vorhersage des kardiovaskulären Risikos. npj Ziffer. Med. 6, 14 (2023). https://doi.org/10.1038/s41746-023-00748-4

Zitat herunterladen

Eingegangen: 07. Februar 2022

Angenommen: 06. Januar 2023

Veröffentlicht: 02. Februar 2023

DOI: https://doi.org/10.1038/s41746-023-00748-4

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Der Endokrinologe (2023)