Modeling Subjective Perception in Multimedia with Large-Scale Multimodal Models

Abstract

Advances in Artificial Intelligence (AI) and research on human cognition have long evolved in parallel, each informing and constraining the other. This dissertation adopts that perspective and treats AI as a scientific instrument for studying subjective human perception. It asks whether inherently subjective perceptual phenomena still exhibit enough regularity to be modeled computationally, provided that semantic structure, multimodal representations, and principled adaptation are used. The objective of this thesis is to develop and critically evaluate systems that predict subjective human perception variables from multimedia content based on semantically grounded, large-scale multimodal models under task-faithful protocols, using parameter-efficient adaptation. This objective is firstly grounded by an initial case study on Electroencephalography (EEG)-based movie recall prediction and then instantiated across video memorability prediction, persuasion strategy detection, and social perception modeling. To this end, the dissertation first proposes a high level theoretical framework of subjective perception grounded in a cognitive loop model that links sensory input, attention, memory, internal representations, and action. This framework distinguishes between perceptual judgments with high intersubject stability and more subjective variables that depend systematically on observer and context. Empirically, large pre-trained multimodal models are treated as strong semantic priors and evaluated under protocols that account for ambiguity and variability in subjective annotations. An initial EEG-based case study shows that functionally grounded oscillatory descriptors contain predictive information about movie recall despite substantial inter-subject variability. In video memorability prediction, results reveal structured interactions between semantic interpretation, visual processing, and temporal dynamics, but also limited cross setup generalization. Contrastive adaptation and low-rank adaptation of large vision-language models often obtain stronger prediction results under the evaluated protocols. However, scaling effects are not monotonic, suggesting that alignment, backbone design, and adaptation capacity interact more strongly than total model size alone. In persuasion strategy detection, reformulating evaluation under a unified multilabel framework exposes limitations of prior protocols and shows that zero shot and adapted multimodal models can achieve competitive performance, while attention and error analyses reveal task specific redistribution patterns and persistent cross dataset fragility. In social perception modeling, results indicate the presence of a latent structure organizing social traits, while also suggesting that simple probing or direct low-rank adaptation of frozen models is not, by itself, sufficient in this low-resource setting. Stronger performance emerges from architectures that project pre-trained audiovisual features into a shared semantic space processed by a largely frozen language backbone. Overall, the thesis argues that subjective human perception is neither arbitrary nor trivially predictable. It exhibits structured regularities that can be captured when models are semantically grounded, adapted in a principled manner, and evaluated with robust and task-faithful criteria. At the same time, generalization across domains and setups remains fragile, constraining deployment. The key outcome is a set of empirical findings and methodological guardrails for studying subjective perception with pre-trained multimodal models, including where robustness breaks. These findings support the future development of tools for media auditing, high-quality content creation, and more informed access to multimedia content. RESUMEN Los avances en Inteligencia Artificial (IA) y la investigación sobre la cognición humana han evolucionado en paralelo durante décadas, informándose y limitándose mutuamente. Esta tesis adopta esa perspectiva y concibe la IA como instrumento científico para estudiar la percepción humana subjetiva. En concreto, investiga si fenómenos perceptivos intrínsecamente subjetivos presentan regularidades suficientes para ser modelados computacionalmente cuando se emplean estructuras semánticas, representaciones multimodales y estrategias de adaptación fundamentadas. El objetivo es desarrollar y evaluar críticamente modelos multimodales de gran escala, semánticamente fundamentados, capaces de predecir variables de percepción subjetiva a partir de contenido multimedia bajo protocolos fieles a la tarea, mediante su adaptación eficiente. Este objetivo se fundamenta en primer lugar mediante un estudio de caso sobre predicción de recuerdo de vídeos a partir de electroencefalografía (EEG), y posteriormente se concreta en tres dominios: predicción de la memorabilidad de un vídeo, detección de estrategias de persuasión y modelado de la percepción social. Para ello, la tesis propone un marco teórico sobre la percepción subjetiva basado en un modelo cognitivo que conecta entrada sensorial, atención, memoria, representaciones internas y acción. Distingue entre variables objetivas, con alta estabilidad intersujeto, y subjetivas, que dependen del observador y el contexto. Un estudio de caso inicial basado en EEG muestra que descriptores oscilatorios fundamentados funcionalmente contienen información predictiva sobre el recuerdo de vídeos, a pesar de la considerable variabilidad intersujeto. Empíricamente, los modelos multimodales preentrenados se tratan como fuertes priors semánticos y se evalúan con protocolos que consideran la ambigüedad y variabilidad de las anotaciones. En memorabilidad, los resultados revelan interacciones entre interpretación semántica, procesamiento visual y dinámica temporal, pero también generalización limitada. La adaptación contrastiva y de bajo rango obtiene mejores resultados bajo los protocolos evaluados, aunque el escalado no es monótono. Esto sugiere que la alineación, el diseño del backbone y la capacidad efectivamente adaptada interactúan de forma más determinante que el tamaño total del modelo por sí solo. En persuasión, la reformulación bajo un marco multietiqueta evidencia limitaciones previas y muestra que modelos zero-shot y adaptados alcanzan rendimiento competitivo, mientras los análisis de atención revelan redistribuciones específicas y fragilidad entre conjuntos de datos. En percepción social, se identifica una estructura latente que organiza los rasgos, mientras que los resultados sugieren que el uso zero-shot o la adaptación directa de bajo rango de modelos congelados no resulta suficiente por sí solo en este escenario de datos limitados. Arquitecturas que proyectan características audiovisuales en un espacio semántico compartido procesado por un modelo de lenguaje mayoritariamente congelado obtienen mejor rendimiento. En conjunto, la tesis sostiene que la percepción subjetiva no es ni arbitraria ni trivialmente predecible. Presenta regularidades que pueden capturarse con modelos semánticamente fundamentados, adaptados de forma fundamentada y evaluados con criterios robustos y fieles a la tarea. No obstante, la generalización entre dominios y configuraciones experimentales sigue siendo frágil, lo que limita su despliegue. El principal resultado es un conjunto de hallazgos empíricos y criterios metodológicos para estudiar la percepción subjetiva con modelos multimodales preentrenados. Estos hallazgos pueden orientar el desarrollo futuro de herramientas para la auditoría de medios, la creación de contenidos de calidad y un acceso más informado al contenido multimedia.