Progressive Transfer Learning in Hybrid CNN-Transformer Architectures for Robust Diabetic Retinopathy Grading

Abstract

Automated diabetic retinopathy (DR) grading requires both local feature extraction and global spatial reasoning. While Convolutional Neural Networks and Vision Transformers (ViTs) struggle individually with spatial context and data limitations respectively, we propose an optimized hybrid framework (ProGrad-DR) combining an InceptionV3 backbone with a ViT encoder. To mitigate ViT overfitting on imbalanced data, we introduce a Progressive Transfer Learning regime, pre-training on a binary task before transferring to 5-class grading, and utilizing algorithmic class-weighting instead of synthetic oversampling. Trained on a composite dataset (APTOS/MESSIDOR) and independently tested on IDRiD, our model achieved a State-of-the-Art Quadratic Weighted Kappa of 0.9048 and a Balanced Accuracy of 0.7534. Notably, Mild DR sensitivity reached 80.0% with 99.4% healthy specificity. This stable, generalizable methodology successfully yields a clinically safe automated triage tool for multi-class DR grading across diverse settings.   Spanish-language metadata / Metadatos en españolTítulo en español:Aprendizaje por transferencia progresiva en arquitecturas híbridas CNN-Transformer para una clasificación robusta de la retinopatía diabética Resumen:La clasificación automatizada de la retinopatía diabética (RD) requiere tanto la extracción de características locales como el razonamiento espacial global. Mientras que las redes neuronales convolucionales (CNN) y los Transformers de visión (ViT) presentan, de forma individual, limitaciones relacionadas con el contexto espacial y la disponibilidad de datos, respectivamente, proponemos un marco híbrido optimizado (ProGrad-DR) que combina una arquitectura base InceptionV3 con un codificador ViT. Para mitigar el sobreajuste del ViT en datos desbalanceados, introducimos un esquema de aprendizaje por transferencia progresiva, basado en un preentrenamiento mediante una tarea binaria antes de transferir el modelo a una clasificación de cinco clases, utilizando además una ponderación algorítmica de clases en lugar de sobremuestreo sintético. Entrenado con un conjunto de datos compuesto (APTOS/MESSIDOR) y evaluado de forma independiente con IDRiD, nuestro modelo alcanzó un coeficiente kappa ponderado cuadrático de 0.9048 y una exactitud balanceada de 0.7534. Cabe destacar que la sensibilidad para la RD leve alcanzó el 80.0 %, con una especificidad del 99.4 % para los casos sanos. Esta metodología estable y generalizable permite obtener una herramienta de triaje automatizado clínicamente segura para la clasificación multiclase de la RD en diversos entornos. Palabras Claves:Retinopatía diabética, clasificación de imágenes médicas, aprendizaje por transferencia progresiva, redes neuronales híbridas, aprendizaje profundo, Transformers de visión, inteligencia artificial en medicina, triaje automatizado. Smart citations:SciteAI. Dimensions.Open Alex.