Por favor, use este identificador para citar o enlazar este ítem:
http://inaoe.repositorioinstitucional.mx/jspui/handle/1009/1596| Mejora del reconocimiento de objetos, acciones y efectos usando los ofrecimientos probabilísticos de los objetos | |
| Esteban Jaramillo Cabrera | |
| Eduardo F. Morales JOSE MARTINEZ CARRANZA | |
| Acceso Abierto | |
| Atribución-NoComercial-SinDerivadas | |
| Affordances Action recognition Object recognition Effect recognition Bayesian network Convolutional neural networks | |
| The recognition and manipulation of objects are relevant tasks for robotics and artificial intelligence in general, taking into account the objects, actions and effects generated, which have been recognized independently. However, there is a strong relationship among these three variables, as suggested by Gibson in his theory of affordances. In particular, in this thesis we perform the recognition of an interaction based on the object, action and effect variables that are estimated using convolutional neural networks, and then capture their probabilistic dependencies using a Bayesian network. This is important, because when relating the object, action and effect variables, we can enhance the recognition rates of each of the variables using the relationships between them. On the other hand, we can estimate one of the three variables without having any information about it, as long as we have the information of the other two variables, that is, we can make inference with missing information. To test the performance of the proposed model, we used the CERTHSOR3D database of more than 20,000 RGB-D videos involving 14 objects and 13 actions, to which we added information on 7 effects. With this information, initial recognition models were constructed with an accuracy of 71.23% for actions, 85.02% for objects and 77.04% for effects. When we relate the information of the three models, we can have this same performance with less training data, but if we use the same data to train, we can increase the recognition of 71.23% up to 79.71% for actions, from 85.02% up to 86.81% for objects and going from 77.04% to 82.77% for the effects. On the other hand, for inference work with missing information, a prediction of 63.50%, 24.55% and 76.59% was obtained for objects, actions and effects; respectively. El reconocimiento y manipulación de objetos son tareas relevantes para la robótica y la inteligencia artificial en general, teniendo en cuenta los objetos, las acciones y los efectos generados que se han reconocido de manera independiente. Sin embargo, existe una fuerte relación entre estas tres variables, como lo sugirió Gibson en su teoría de los ofrecimientos1 (affordances). En particular, en esta tesis realizamos el reconocimiento de una interacción a partir de las variables objeto, acción y efecto que se estiman utilizando redes neuronales convolucionales, y luego se capturan sus dependencias probabilistas usando una red bayesiana. Esto es importante, porque al relacionar las variables objeto, acción y efecto podemos mejorar los índices de reconocimiento de cada una de las variables utilizando las relaciones entre ellas. Por otro lado, podemos estimar alguna de las tres variables así no tengamos ninguna información de esta, siempre y cuando tengamos la información de las otras dos variables, es decir que podemos hacer inferencia con información faltante. Para probar el desempeño del modelo planteado se utilizó la base de datos CERTHSOR3D de más de 20 mil videos RGB-D involucrando 14 objetos y 13 acciones, a la cual le añadimos información de 7 efectos. Con esta información se construyeron modelos de reconocimiento inicial con una precisión de 71.23% para acciones, 85.02% para los objetos y 82.05% para los efectos. Cuando relacionamos la información de los tres modelos podemos tener este mismo desempeño con menos datos de entrenamiento, pero si usamos los mismos datos para entrenar podemos incrementar el reconocimiento de 71.23% hasta 79.71%, de 85.02% hasta 86.81% para los objetos y pasando de 77.04% a un 82.77% para los efectos. Por otro lado, para labores de inferencia con información faltante se obtuvo una predicción de 63.50%, 24.55% y 76.59% para objetos, acciones y efectos; respectivamente. | |
| Instituto Nacional de Astrofísica, Óptica y Electrónica | |
| 2018-11 | |
| Tesis de maestría | |
| Español | |
| Estudiantes Investigadores Público en general | |
| Jaramillo Cabrera, E. (2018), Mejora del reconocimiento de objetos, acciones y efectos usando los ofrecimientos probabilísticos de los objetos, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica. | |
| LENGUAJES DE PROGRAMACIÓN | |
| Versión aceptada | |
| acceptedVersion - Versión aceptada | |
| Aparece en las colecciones: | Maestría en Ciencias Computacionales |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| JaramilloCE.pdf | 5.03 MB | Adobe PDF | Visualizar/Abrir |