Resumen de Modeling, simulation and design of skin deformation and sensorization for humans and robots
Esta tesis explora la simulación de avatares humanos de cara a su uso para la exploración del sentido del tacto y la percepción humana en general. Mediante el uso de datos de simulación física provenientes de un modelo suficientemente correcto, podemos aproximar el proceso que sigue el cerebro a la hora de transformar datos abstractos de tensiones y deformaciones locales en información compleja y comprensible sobre forma, presión o posición.
El conocimiento generado en el modelado y simulación de tejido blando en humanos y la percepción de los fenómenos físicos que experimentan pueden ser aplicados en multitud de campos. El campo de la sensorización en los robots "blandos" o "soft robots" es un claro candidato, ya que dichos robots están recubiertos o totalmente compuestos por siliconas u otros compuestos elásticos que pueden ser tratados de forma similar al tejido blando en humanos a la hora de simularlo y extraer datos de él.
Las técnicas de rigging son omnipresentes en los paquetes de software de animación, que a menudo incluyen el lineal blend skinning y otros métodos no lineales. La simulación de cuerpos articulados blandos ha motivado muchos trabajos que enriquecen las técnicas de rigging con dinámicas. Algunos trabajos proponen el acoplamiento bidireccional entre el tejido blando y el cuerpo articulado para el control de la animación. Estamos especialmente interesados en los modelos basados en datos SMPL y MANO, que definen la deformación en espacio de pose utilizando funciones de forma gobernadas por la pose del esqueleto.
Los métodos de subespacio sustituyen los N grados de libertad (DoFs) de una discretización elegida por un conjunto mucho más pequeño de DoFs. Esto, naturalmente, acelera las simulaciones a costa de perder detalles de deformación que no pueden ser capturados por la base del subespacio. El diseño de una base apropiada ha sido un interés de investigación desde los primeros trabajos basados en el análisis modal lineal. Desarrollos posteriores permitieron la incorporación de fenómenos no lineales, la aceleración de los cálculos de fuerza, o la combinación adaptativa de formulaciones de subespacio y espacio completo, entre otros.
Muchos trabajos en el campo de la neurofisiología y la ingeniería biomecánica han mostrado cierto interés en la simulación como herramienta para entender la respuesta de la piel a los estímulos táctiles. Algunos de ellos utilizan simulaciones FEM en 3D de las interacciones de las yemas de los dedos humanos para investigar la transmisión de señales mecánicas a través de la piel o comprender la distribución heterogénea de los mecanorreceptores dentro del volumen de la piel. Los últimos trabajos en este campo se centran en modelar cómo los mecanorreceptores de la piel modulan las señales aferentes para producir potenciales de acción que se transmiten a través de los nervios.
Múltiples trabajos han tratado de reconstruir la forma o las fuerzas de interacción, ya sea a partir de datos de visión; de datos de sensores; o a través del aprendizaje automático. La comunidad robótica se ha beneficiado especialmente de esta investigación en su búsqueda de la emulación de las capacidades táctiles humanas, por ejemplo, con el uso de sensores deformables similares a la piel . Nuestra formulación comparte similitudes con algunos de estos trabajos, pero difiere fundamentalmente en que nuestras fuentes de datos son señales de mecanorreceptores simuladas.
Se han adoptado diferentes enfoques para sensorizar los robots blandos. El uso de sensores de deformación de metal líquido para dispositivos de robots blandos fue propuesto por, y ha habido mucho trabajo en esta área, incluyendo la integración en robots blandos actuados para la propiocepción.
Existen pocos ejemplos de sistemas automatizados para el diseño de disposiciones de sensores para objetos blandos propioceptivos. Culha et al. presentan un enfoque, en el que los sensores se dirigen a lo largo de una superficie considerando el campo de deformación de las deformaciones del objeto. Sin embargo, no intentan reconstruir la forma del objeto deformado a partir de las lecturas de los sensores. Wall et al. proponen un enfoque para sensorizar un dedo robótico suave, construyendo un prototipo con un conjunto redundante de sensores y luego seleccionando un subconjunto de estos. Sin embargo, la necesidad de prototipos físicos en el proceso de diseño limita la escalabilidad de este enfoque. Bacher et al. presentó un método para ayudar a un usuario a sensor Estrechamente relacionadas con nuestro trabajo están las técnicas que resuelven un conjunto de parámetros de diseño óptimos, restringiendo los sistemas físicos a los equilibrios durante las optimizaciones. Las aplicaciones incluyen el diseño de personajes mecánicos, deformables, e hinchables, mecanismos conformes y accionados por cable, o mallas de varillas flexibles. Aunque nos centramos en la detección en lugar de la actuación, compartimos con algunos trabajos el objetivo de seleccionar un subconjunto disperso de un conjunto mayor.
El principal objetivo de esta tesis es el modelado y estudio de los efectos físicos en la piel humana o su equivalente sintético en robótica. Con un correcto modelado y extrayendo información relevante de éste podemos efectuar procesos de diseño inverso para deducir las condiciones de contacto que se han dado y de esta forma inferir deformación, fuerza, presión o posición del estado actual de la piel, el cuerpo completo o el robot que estemos analizando.
Para alcanzar estos objetivos se ha elaborado un modelo articulado de avatares que permite la simulación de tejido blando. Posteriormente se han establecido unos principios de extracción de información de simulación y un método de reconstrucción de la deformación de la yema del dedo. Por último, se han aplicado métodos similares a los ya mencionados en un caso real del campo de la robótica, donde se han conseguido diseñar un conjunto de sensores óptimos para un robot blando y posteriormente se han usado las señales de esos sensores para la reconstrucción de la posición del robot.
Estos objetivos se han separado en 3 bloques en esta tesis, cada uno de los cuales ha producido un publicación en una revista científica.
Se explora el diseño de un modelo de avatares animados que permitan la incorporación de deformaciones de tejido blando de piel y grasas corporales ante interacciones. Para esto, se parte de un modelo humano conocido (SMPL) que funciona extendiendo un "linear blend skinning" tradicional con correcciones extraídas de datos de escáneres reales. Este modelo, y su alternativa para la simulación de manos (MANO) introducen a la malla en reposo las correcciones aprendidas de forma y de pose a las que luego se les aplicara el método de "skinning" deseado.
Nuestra propuesta sigue la misma idea de introducir correcciones sobre el modelo sin posar. En concreto, introducimos un término que representa los desplazamientos de un conjunto de nodos de control seleccionados. El uso de estos nodos de control tiene múltiples ventajas a la hora de simular. Reduce el coste de la simulación, permitiendo a un artista seleccionar nodos únicamente en zonas de interés, simplificando y acelerando a la vez la simulación. En un caso extremo, siempre podemos elegir usar todos los nodos de la malla original, permitiéndonos Por último, cabe destacar, que para respetar las deformaciones definidas por SMPL o MANO, o las creadas por un artista en otras posibles aplicaciones. El método siempre debe considerar como estado de reposo el estado actual de la animación. De forma que ante la ausencia de interacciones externas se considere que el sistema mantiene energía mínima y no intente deshacer las deformaciones causadas por la animación. De manera similar a Romero et al., conseguimos esto formulando nuestro gradiente de deformación en el estado sin posar, donde sólo los desplazamientos producidos por los nodos de control generan algún cambio y, por tanto, incremento de la energía elástica.
Después, exploramos la idea de reconstruir deformaciones en el tejido blando de la piel únicamente mediante el uso de datos de simulación como es la deformación o la tensión. En concreto, definimos un conjunto de puntos, o mechanoreceptores, y seleccionamos 2 direcciones sobre las que proyectamos el tensor de deformaciones de Green-Lagrange para obtener una métrica de deformación en el punto.
Una vez extraídas las señales generadas por todos los mecanoreceptores seleccionados dentro del tejido blando, procedemos a usar la información obtenida para reconstruir la deformación total de la yema del dedo. Para resolver dicha optimización, consideramos que todo el contacto se produce de forma cuasi-estática, de manera que podemos reducir el problema a una búsqueda en el espacio de fuerzas externas y usar derivación implícita para obtener el problema sin restricciones.
Finalmente, se hacen uso de métodos similares a los usados anteriormente para resolver un problema real. En concreto, se presenta la problemática de saber la posición en todo instante de un robot blando, fundamentalmente formado por silicona, cuando se manipula y existen interacciones externas no conocidas. En general, el problema de sensorizar un robot blando es mucho mas complejo que el de sensorizar uno tradicional. Los robots blandos tienen de forma natural un número muy alto o casi infinito de grados de libertad. Saber cuántos sensores usar o dónde colocarlos no es para nada una tarea trivial. Además, se debe tener en cuenta tanto el proceso de fabricación, como los casos de uso.
Nuestra solución consiste en utilizar sensores piezoresistivos alargados que recorren el interior de la silicona. Los sensores están fabricados con pequeños tubos flexibles rellenos con una aleación de Galio-Indio eutéctico y pinzados en los extremos. El sensor se ve afectado por las deformaciones del robot en cada punto de su recorrido y variará su resistencia eléctrica localmente en función de ello. Para obtener una única medida por sensor, consideramos que el volumen del sensor no cambia cuando se encuentra ante los efectos de tracciones o compresiones. Para obtener el cambio de longitud realizamos una integración a lo largo de la trayectoria del sensor en el estado deformado.
Una vez definidos los sensores, podemos definir el proceso de reconstrucción de la posición del robot. De nuevo consideramos que todo el proceso se produce cuasi-estáticamente y utilizamos derivación implícita para poder formular el problema únicamente en espacio de fuerzas.
Para poder seleccionar dónde colocar los sensores primero inicializamos un conjunto muy grande de ellos, de manera que todos cumplan las condiciones para que sean fabricables. Después, añadimos sensores uno a uno de ese conjunto de manera que el sensor añadido siempre suponga la mayor mejoría en la reconstrucción de un conjunto objetivo de poses representativas. Para definir una métrica que nos sirva para identificar el sensor de mayor mejoría, utilizamos el gradiente de la función objetivo, que busca minimizar el error en posición con respecto a un set objetivo. De nuevo, para calcular este gradiente, podemos usar derivación implícita a partir de la restricción de reconstrucción, estableciendo así una triple anidamiento entre diseño, reconstrucción y simulación.
Una vez que los sensores han sido seleccionados, la fabricación del robot se realiza mediante un proceso que utiliza dos moldes donde se verterá la silicona para que cure. El primer molde contiene hendiduras por donde deben circular los sensores. Tras curarse la silicona, los sensores se introducen en sus correspondientes hendiduras y se utiliza el segundo molde, ya sin huecos, para recubrir todo el espacio restante de silicona.
En esta tesis, hemos presentado varias contribuciones en el campo de los gráficos por ordenador, los hápticos y la fabricación digital. Las contribuciones incluyen: un nuevo método para simular avatares articulados con simulaciones de tejidos blandos basadas en la física que conservan el skinning proporcionado por los artistas y funcionan para aplicaciones en tiempo real; un modelo de sensor, junto con una solución para la reconstrucción de la forma de la piel basada en el campo de tensión de la piel; el diseño, colocación y fabricación de sensores orientados a la robótica blanda que permite la propiocepción del robot incluso bajo estímulos externos.
A pesar de los avances presentados, algunas limitaciones y problemas aun quedan por resolver. En concreto, en el modelo esqueletal, la elección de la base del modelo reducido, aunque sencilla y funcional, es totalmente geométrica. Una exploración mas exhaustiva podría llevarnos a encontrar alternativas que tengan conciencia del comportamiento del material y que aun así mantengan el carácter local de la que usamos actualmente.
En el caso de la sensorización del tejido blando, aunque nuestro modelo de mecanoreceptor y optimización numérica consiguen una reconstrucción muy buena, quizá sea demasiado precisa, distanciándose así de la percepción humana real. En el futuro, el uso de datos de usuarios reales podría ayudar a alcanzar resultados mas humanos. Así mismo, el uso de métodos de \textit{machine learning} para el procesado de las señales podría resultar mas adecuado, ya que se aproxima mas al proceso de aprendizaje que realiza nuestro cerebro.
Por último en el caso de la propriocepción de robots, aunque se ha logrado reproducir con fidelidad la mayoría de interacciones que pueden suceder comúnmente durante el uso del robot, aun existen algunas que presentan dificultades. Concretamente, las deformaciones debidas a torsión son difíciles de reconstruir con nuestra solución actual, debido a la complejidad de la distribución de fuerzas requeridas para producirlas. Para solventar estos problemas se han intentado usar sensores únicamente sensible a la torsión o a introducir términos en el problema de reconstrucción que de predilección por las configuraciones con pares de fuerzas. Sien embargo estas soluciones fueron insuficientes para conseguir resultados satisfactorios y aun hay bastante exploración que hacer en esa dirección.
