%%{init: { "flowchart": { "nodeSpacing": 15, "rankSpacing": 20 }}}%%
flowchart TD
A["Extracción de Datos"] --> B["Preprocesamiento GPT"]
B --> C["Análisis Exploratorio "]
C --> D["Modelo - Arquitectura "]
D --> E["Entrenamiento
del Modelo"]
E --> F["Evaluación y
Validación"]
F --> D
style A fill:#e0e7ff,stroke:#4f46e5,stroke-width:1px
style B fill:#fef3c7,stroke:#f59e0b,stroke-width:1px
style C fill:#dbeafe,stroke:#3b82f6,stroke-width:1px
style D fill:#e0f2fe,stroke:#0ea5e9,stroke-width:1px
style E fill:#dcfce7,stroke:#10b981,stroke-width:1px
style F fill:#d1fae5,stroke:#059669,stroke-width:1px
Sentiment Classification for NPS Data:
An Approach with Hybrid Models and Transfer Learning
2025-12-18
¿Qué es NPS?
Net Promoter Score (NPS)
- Métrica de satisfacción del cliente.
- Escala de 0 a 10
- Tres categorías:
- Detractores (0-6)
- Pasivos (7-8)
- Promotores (9-10)
Importancia
- Los comentarios de los clientes son fundamentales para entender las razones detrás de sus puntuaciones NPS.
- Mide la lealtad y satisfacción del cliente, proporcionando insights valiosos para mejorar productos y servicios.
Distribución de clases
| Técnica | Total | Detractor | Pasivo | Promotor |
|---|---|---|---|---|
| Sin balanceo | 69,923 | 3,473 | 6,030 | 60,420 |
| Undersampling | 10,419 | 3,473 | 3,473 | 3,473 |
| Oversampling | 181,260 | 60,420 | 60,420 | 60,420 |
| Hybrid (U=0.3, O=0.8) | 47,126 | 14,500 | 14,500 | 18,126 |
Baseline
LSTM Bidireccional + Attention
- Capa de embedding El texto de entrada se convierte en vectores de embedding usando Word2Vec.
- LSTM bidireccional Captura dependencias contextuales en ambas direcciones
- Mecanismo de atención Permite al modelo enfocarse en palabras clave relevantes para la clasificación.
Resultados Baseline (Grid Search)
Métricas Baseline
Lematización + Baseline
Lematización + Baseline
- Lematización Reduce las palabras a su forma base para disminuir la variabilidad.
- Arquitectura Baseline Se utiliza la misma arquitectura que el modelo baseline.
Grid Search Lematización + Baseline
Métricas Lematización + Baseline
Modelo Híbrido
Modelo Híbrido
- Tokenización del texto de entrada, mediante el tokenizador WordPiece específico de BETO.
- Embeddings preentrenados utilizando BETO para capturar representaciones semánticas ricas.
- Arquitectura Baseline Utiliza la misma arquitectura que el modelo baseline.
Métricas Híbrido
Fine-Tuning con BETO
Fine-Tuning con BETO
- Tokenización del texto de entrada mediante el tokenizador WordPiece específico de BETO.
- Modelo BETO completo Se utiliza todo el modelo BETO, permitiendo que todos sus parámetros se ajusten durante el entrenamiento.
F1 entre arquitecturas
Variaciones de F1
- BETO Fine-Tuning: Muestra la mejor puntuación F1 macro, destacando su eficacia en la clasificación de sentimientos en datos de NPS.
- Modelos Híbridos y Baseline: Aunque no alcanzan el rendimiento de BETO, los modelos híbridos y baseline con lematización ofrecen mejoras significativas sobre el baseline simple.
Métricas para fine-tuning BETO
Análisis de Métricas y Matriz de Confusión
- Heatmap de Métricas: Permite visualizar el rendimiento detallado de cada modelo en términos de F1, Recall y Precisión para cada clase.
- Matriz de Confusión: Destaca la capacidad del modelo para clasificar correctamente las instancias, especialmente en la clase Detractor, que es crucial para el objetivo del proyecto.
Distribución de predicciones
