Task-oriented hybrid conversational systems: towards flexible, domain-aware and reliable conversational interaction combining LLMs and rule-based approaches

• Autores: Ksenia Kharitonova Yakusheva
• Directores de la Tesis: David Griol Barres (codir. tes.), Zoraida Callejas Carrión (codir. tes.)
• Lectura: En la Universidad de Granada ( España ) en 2026
• Idioma: inglés
• ISBN: 9791370152918
• Número de páginas: 223
• Enlaces
  • Tesis en acceso abierto en: DIGIBUG
• Resumen
  • español

    Esta tesis doctoral investiga cómo diseñar sistemas de IA conversacional fiables, expresivos y basados en datos para entornos multilingües, en un panorama dominado por recursos y modelos centrados en el inglés. Aborda tres objetivos generales: (O1) extraer automáticamente la estructura del diálogo y utilizarla para controlar la interacción mediante técnicas basadas en modelos de lenguaje a gran escala (LLM); (O2) desarrollar sistemas basados en LLM que proporcionen respuestas fiables, explicables y sin alucinaciones mediante el anclaje en evidencias; y (O3) crear recursos conversacionales especializados para entrenar y ajustar (fine-tune) modelos de diálogo sobre interacciones multiturno en lugar de corpus genéricos de texto plano. En lugar de tratar estos objetivos como retos aislados, la tesis los enmarca como requisitos que se refuerzan mutuamente: se necesita estructura para mantener la interacción coherente y controlable, se necesitan bases para que las respuestas sean auditables y fiables, y se necesitan datos nativos de diálogos para aprender y evaluar estas propiedades en entornos realistas de múltiples turnos. Para el objetivo O1, la tesis explora métodos híbridos de diálogo orientado a tareas asistidos por LLM tanto en entornos abiertos como propietarios. Una línea de trabajo propone un pipeline en dos fases que convierte registros de diálogos orientados a tareas en bruto en asistentes operativos de Rasa mediante artefactos generados por LLM, bootstrapping estructural guiado por validadores y pruebas de interacción basadas en harnesses. La estancia de investigación internacional realizada en AppTek - RWTH Aachen University extiende esta metodología al marco propietario Cheshire de la empresa AppTek, mostrando que la autoría basada en LLM sigue siendo viable bajo estrictas restricciones de lenguajes específicos de dominio (DSL) y de ejecución cuando se combina con micro-reparaciones guiadas por validadores y estabilización basada en KPI, y aportando una taxonomía reutilizable de modos de fallo específicos del framework, plantillas de reparación y recomendaciones de diseño con humanos en el bucle. Una línea complementaria introduce SGD+, una extensión del seguimiento del estado del diálogo guiado por esquemas (DST) que trata los valores de los slots como conjuntos con semántica booleana, intervalos temporales y periodicidad, y jerarquías espaciales, junto con conjuntos de datos en español generados mediante plantillas y métricas de DST basadas en conjuntos. Para el objetivo O2, la tesis desarrolla sistemas de generación aumentada con recuperación (RAG) acotados por guías clínicas para la pregunta-respuesta clínica en español. Utilizando guías de práctica clínica nacionales como única fuente de conocimiento, las arquitecturas propuestas combinan recuperación densa, reranking y síntesis de respuestas mediante LLM con citación explícita y comportamientos de rechazo. Las evaluaciones por expertos realizadas por profesionales médicos muestran que los pipelines RAG avanzados mejoran sustancialmente la fiabilidad, claridad y trazabilidad frente a enfoques de recuperación ingenuos, y que modelos de código abierto bien configurados pueden rivalizar con sistemas propietarios bajo estrictas restricciones de evidencia. Para el objetivo O3, la tesis introduce recursos conversacionales y web multilingües a gran escala y los complementa con benchmarks sintéticos controlados. esCorpiusDialog agrega 30 millones de diálogos (122,8 millones de turnos) procedentes de subtítulos, foros, grupos de noticias y libros, mientras que esCorpius-m proporciona un corpus web multilingüe masivo y depurado con un fuerte foco en el español. Otros recursos incluyen ChatSubs (que también forma parte de esCorpiusDialog) y esCorpiusBIAS, un subconjunto de foros en español anotado de forma contextual para racismo y sexismo. Finalmente, SGD+ aporta conjuntos de datos en español guiados por plantillas para el seguimiento expresivo del estado del diálogo y la negociación, con supervisión basada en conjuntos sobre restricciones temporales, espaciales y multiobjetivo complejas, verificadas en todos los casos por un lingüista nativo de español. Todos los pipelines están completamente documentados, son reproducibles, y se han validado mediante experimentos posteriores en modelado de diálogo multiturno y clasificación de seguridad. Los tres objetivos se articulan en un diseño orientado a la IA conversacional multilingüe. O3 aporta los datos nativos de diálogo y los benchmarks controlados necesarios para aprender y poner a prueba el comportamiento multiturno; O1 proporciona la estructura explícita (esquemas, estados y restricciones de flujo) que mantiene la interacción coherente y ejecutable; y O2 aporta la gobernanza de la evidencia que hace que las respuestas sean trazables, defendibles y seguras en usos de alto riesgo. Su combinación da lugar a sistemas que no solo son fluidos, sino también estructuralmente controlados, basados en evidencia y adaptados a la interacción multiturno en distintos idiomas y dominios de aplicación. En su conjunto, los resultados demuestran que una inteligencia artificial conversacional multilingüe robusta requiere, y se beneficia de, una combinación de datos multiturno de alta calidad, incluidos benchmarks sintéticos controlados para fenómenos infrarrepresentados, arquitecturas de LLM basadas en la evidencia y flujos de desarrollo híbridos que integren los LLM con mecanismos de control interpretables basados en esquemas y reglas. Estos resultados han posibilitado la publicación de ocho artículos de investigación en el marco de la tesis.

  • English

    This PhD thesis investigates how to design reliable, expressive, and data-driven conversational AI systems for multilingual settings. It addresses three overarching objectives: (O1) automatically extracting dialog structure and using it to control interaction with large language model (LLM)-based techniques; (O2) developing LLM-based systems that provide reliable, explainable, and non-hallucinated answers via evidence grounding; and (O3) creating specialized conversational resources to train and fine-tune dialog models on multi-turn interactions rather than generic plaintext corpora. Rather than treating these objectives as isolated challenges, the thesis frames them as mutually reinforcing requirements: structure is needed to keep interaction coherent and controllable, grounding is needed to make responses auditable and trustworthy, and dialog-native data is needed to learn and evaluate these properties in realistic multi-turn settings. For objective O1, the dissertation explores hybrid, LLM-assisted task-oriented dialog methods in both open and proprietary settings. One line of work proposes a two-phase pipeline that converts raw task-oriented dialog logs into operational Rasa assistants using LLM-generated artifacts, validator-driven structural bootstrapping, and harness-based interaction testing. The work completed during the international research stay at AppTek - RWTH Aachen University extends the methodology to AppTek’s proprietary Cheshire framework, showing that LLM-based authoring remains feasible under strict domain-specific language (DSL) and runtime constraints when combined with validator-driven micro-repairs and KPI-based stabilization, and delivering a reusable taxonomy of framework-specific failure modes, repair templates, and human-in-the-loop design recommendations. A complementary line introduces SGD+, an extension of schema-guided dialog state tracking (DST) that treats slot values as sets with Boolean semantics, temporal intervals and periodicity, and spatial hierarchies, together with Spanish template-generated datasets and set-based DST metrics. For objective O2, the thesis develops guideline-bounded, Retrieval-Augmented Generation (RAG) systems for Spanish clinical question answering. Using national Clinical Practice Guidelines as the only knowledge source, the proposed architectures combine dense retrieval, reranking, and LLM-based answer synthesis with explicit citation and refusal behavior. Expert evaluations by medical professionals show that advanced RAG pipelines substantially improve reliability, clarity, and traceability compared to naïve retrieval, and that well-configured open-source models can rival proprietary systems under strict evidence constraints. For objective O3, the PhD thesis introduces large-scale multilingual conversational and web resources and complements them with controlled synthetic benchmarks. esCorpiusDialog aggregates 30M dialogs (122.8M turns) from subtitles, forums, newsgroups, and books, while esCorpius-m provides a massive, cleaned multilingual web corpus with a strong Spanish focus. Additional resources include Chat- Subs (which also serves as part of esCorpiusDialog) and esCorpiusBIAS, SGD+ provides Spanish template-guided datasets for expressive dialog state tracking and negotiation, supporting set-valued supervision over complex temporal, spatial, and multi-objective constraints, with all instances verified by a native Spanish linguist. Across these resources, the pipelines are fully documented and reproducible, and validated through downstream experiments on multi-turn dialog modeling and safety classification. The three objectives tie together into a single design stance for multilingual conversational AI. O3 supplies the dialog-native data and controlled benchmarks needed to learn and stress-test multi-turn behavior; O1 provides the explicit structure - schemas, states, and flow constraints - that keeps interaction coherent and executable; and O2 supplies the evidence governance that makes answers traceable, defensible, and safe in high-stakes use. Their combination yields systems that are not only fluent, but also structurally controlled, evidence-based, and adapted to real-world multi-turn interaction across languages and domains. The results demonstrate that robust multilingual conversational AI requires (and benefits from) a combination of high-quality multi-turn data, including controlled synthetic benchmarks for underrepresented phenomena, evidence-grounded LLM architectures, and hybrid development workflows that integrate LLMs with interpretable, schema- and rule-based control. These results have also led to the publication of eight research papers as part of the thesis.