Dentro del ciclo SIAUS (Seminario de Inteligencia Artificial de la Universidad de Sevilla), el jueves 22 de junio a las 10:00 en el aula E1.80 (y también online), el ponente D. Pedro Almagro Blanco impartirá el seminarioThe Way to Transformers (II).

En esta charla, continuaremos con la sesión anterior dedicada a Transformers. Tras haber presentado conceptos básicos relacionados con redes neuronales y codificadores, en la primera sesión se presentaron los conceptos de positional encoding y el mecanismo de atención, concluyendo con la presentación de la arquitectura completa del modelo.

En esta segunda sesión se explicarán detalles concretos de la arquitectura (como la dimensionalidad de las diferentes estructuras que lo componen) así como de su funcionamiento (output autoregresivo, estados ocultos, etc…) y del proceso que se sigue para entrenar grandes máquinas de lenguaje.