Automation, Robotics and Computer Vision Laboratory (ARVC)
  F+    F-        

José María Marín López

Photo
José M. Marín

Associate Professor and Researcher

Automation, Robotics and Computer Vision Lab.

Miguel Hernández University

Address:

Miguel Hernández University
Systems Engineering and Automation Department
INNOVA Building
Avda. Universidad s/n
03202 - Elche (Alicante) SPAIN

Tel:  +34 96 665 8882

Email: jmarin@umh.es

My Projects

Research Projects

HYREBOT

Title: Hybrid Robots and Multisensory Reconstruction for Applications in Lattice Structures (HyReBot)

Funded by: Ministerio de Ciencia e Innovación

Duration: 09/2021 - 08/2024

Description: The use of reticular structures, which are composed of a number of beams or bars closely intertwined, is widespread nowadays in the construction of all types of fastening and support components for different infrastructures. They are especially indicated in metal bridges but also in roofs of hangars and spacious industrial buildings. They are generally formed by a set of highly interlinked and interconnected bars, joined together by nodes (either rigid or articulated), forming a three-dimensional structural mesh. The execution of both inspection and maintenance tasks on this type of reticular structures is especially challenging owing to (a) the access problems because of the high interconnection of the bars through the nodes and (b) the complexity of going through paths that permit moving from one starting point to a target point while traversing these structural nodes.

Aerial vehicles have been considered along the past few years as a possible solution to automate these inspection and maintenance tasks on reticular three-dimensional structures. However, the high complexity of such structures (often including narrow gaps between nodes and bars and with a strongly heterogeneous distribution) limits the use of this type of aerial vehicles, since they could not enter the different internal locations of the structure that are not easily accessible. Another of the limitations of this type of vehicles is their limited manipulation capacity while they are in the air.

The present research project focuses on this field. The project will explore the possibility of using robotic units that can move along these reticular structures in such a way that they can navigate through them with 6 degrees of freedom and traverse the reticular nodes present in them, regardless of their arrangement, layout and 3D configuration of the mesh. To address these inspection and / or maintenance tasks, this research project proposes the analysis, design and implementation of hybrid robots. They will consist of simple modules with few degrees of freedom, either with serial or parallel structure, designed in such a way that, when combined into hybrid robots, they can effectively navigate through these reticular structures despite all the challenging issues they present. In addition to analyzing these robots in depth, both from the kinematic and dynamic point of view, we propose to analyze and demonstrate their ability to navigate through such reticular workspaces, negotiating any possible arrangement of reticular nodes present in such structures.

Finally, it is essential to have a sufficiently precise model of the reticular structure in which these modular robots have to operate and to estimate efficiently their position and orientation in this environment. Considering the experience of the members of the research team in previous projects, the present project also proposes performing the reconstruction of these environments (three-dimensional grid structures), based on the fusion of the information provided by both range and visual sensors in a 360o field of perception around the robot. To achieve this objective, deep learning techniques will be used to efficiently process the high amount of data provided by the sensors.


Project PID2020-116418RB-I00 funded by MCIN/AEI/10.13039/501100011033.
Agencia Estatal de Investigación

Keywords: Hybrid robots, visual perception, sensor fusion, reticular structures

Head Researcher: L. Payá, O. Reinoso

More Information...     


PROMETEO2021

Title: HACIA UNA MAYOR INTEGRACIÓN DE ROBOTS INTELIGENTES EN LA SOCIEDAD: NAVEGAR, RECONOCER Y MANIPULAR

Funded by: GENERALITAT VALENCIANA

Duration: 01/2021 - 12/2024

Description: Durante los últimos años el número de robots que se utilizan para la realización de tareas de forma autónoma en múltiples ámbitos y sectores se ha venido incrementando paulatinamente. Hoy en día es posible encontrarnos la presencia de robots realizando tareas repetitivas y en entornos controlados abordando tareas complejas y en ocasiones peligrosas. Sin embargo, la realización de tareas por parte de robots en entornos no controlados con presencia de objetos y elementos móviles (como puede ser la presencia de personas y otros robots) y que requieren la necesidad de realizar desplazamientos entre diferentes puntos de la escena presenta notables inconvenientes que es preciso abordar con objeto de posibilitar una mayor integración de los robots en este tipo de escenarios.

En este proyecto de investigación plantea abordar actividades de investigación dentro de este ámbito en tres líneas específicas: navegación, reconocimiento y manipulación, con objeto de posibilitar avanzar en la integración de los robots y la realización de tareas dentro de estos entornos. Por un lado, es necesario tener en cuenta la presencia de los seres humanos en estos entornos sociales, dado que su posible movimiento y la forma en que se comporten afectará a la manera en que deben moverse los robots y en definitiva a la navegación de estos dentro de estos escenarios. Además, es preciso avanzar en tareas de reconocimiento del entorno identificando los escenarios con objeto de que la localización de los robots dentro de estos sea más robusta y precisa. Finalmente se abordará el problema de la manipulación de los objetos por parte de estos robots teniendo en cuenta la flexibilidad tanto en la forma como en la deformabilidad de estos.


Proyecto PROMETEO 075/2021 financiado por la Consellería de Innovación, Universidades, Ciencia y Sociedad Digital de la Generalitat Valenciana
Valencian Innovation Agency

Head Researcher: Oscar Reinoso

More Information...     


TED2021

Title: Development of intelligent mobile technologies to address security tasks and surveillance indoors and outdoors

Funded by: Agencia Estatal de Investigación. Ministerio de Ciencia e Innovación

Duration: 12/2022 - 11/2024

Description: This project proposes using mobile robots and machine learning technologies to carry out surveillance and security tasks in indoor and outdoor environments. During the course of the project, it is expected to generate scientific knowledge and carry out technological developments that digitize and automate the tasks of surveillance of buildings, infrastructures and industry. Such developments are expected to have potential of technology transfer to security companies, State security forces and emergency units.

Currently, these tasks are carried out by specialized personnel, with the aid mainly of cameras located in fixed positions and cctv systems. In this project, it is proposed to perform this surveillance in a much more effective way and more safely for these personnel, with the support of cooperating mobile robots that can patrol the areas to be monitored and use different types of sensors (omnidirectional vision cameras, infrared cameras, laser range and proximity sensors) and sensor fusion technologies to address two major problems: (a) robot navigation through the environment to be monitored, including building a model or map, localization and trajectory planning and (b) interpretation of the environment so that suspicious objects, intrusions by unauthorized personnel and other potentially dangerous situations such as fire sources and overheating in facilities can be detected. The project includes the creation of an intuitive graphical interface that allows the user to interact with the robots and maps created, know the alarms that have been generated and influence the task carried out by the robots.

Both the cooperation between the robots themselves and the cooperation between the potential remote operator and the robots is critical to effective surveillance. It is a cutting-edge technological aspect with great development in current international research works. Other technologies involved in the project, such as object and person recognition, deep learning and autonomous robot navigation, are also among the most developed today. The proposing research group has a consolidated track record and extensive experience in the fields of mobile robotics, machine learning, image processing and sensor fusion.

Therefore, the proposed idea is framed within the field of digital transition and seeks to improve and enhance technology to apply it to security and surveillance tasks in buildings, infrastructures and facilities. The main goal of the project is to ameliorate the quality of the work of security employees and improve the competitiveness of security companies. In particular, the use of mobile robots is proposed in situations in which the use of static security cameras is inappropriate or insufficient, or to serve as support and assistance to existing security personnel. A use case will be, for example, the surveillance of large areas of land in adverse conditions (cold, extreme heat). In addition, the mobile robots will be equipped with sensors that will allow the detection of intrusions or security failures in low or no lighting conditions. The proposal also aims to have a minimum ecological impact, as it will use highly efficient electric mobile robots.


This project has been founded by Agencia Estatal de Investigación. Ministerio de Ciencia e Innovación
Agencia Estatal de Investigación

Keywords: Mobile robot, computer vision, image processing, sensor fusion, robot navigation, deep learning

Head Researcher: A. Gil, L. Payá

More Information...     


RETIC

Title: Planificación de movimientos robóticos en estructuras metálicas

Funded by: Universidad Miguel Hernández de Elche

Duration: 01/01/2021 - 31/12/2022

Description: Hoy en día nos encontramos con estructuras reticulares metálicas tridimensionales n numerosas construcciones artificiales, como estadios, torres de alta tensión o de telecomunicaciones, aeropuertos, obras de construcción, redes de conductos en refinerías, centrales nucleares o construcciones aeroespaciales. Estas estructuras, formadas por barras interconectadas, formando auténticas redes metálicas, requieren una inspección periódica y mantenimiento para preservar su buen estado y funcionamiento y evitar que su estabilidad estructural sevea comprometida por el deterioro. Ejemplos de las tareas requeridas son el recubrimiento de las barras metálicas de la estructura mediante pinturas protectoras para frenar su corrosión, la inspección no destructiva para detectar posibles grietas y defectos de soldadura o el apriete de uniones roscadas, entre otros.

Tradicionalmente, estas tareas han sido realizadas por operarios humanos que, provistos de mecanismos de seguridad como arneses, tienen que subir a la estructura y realizar las citadas operaciones. A pesar de que las posibles medidas de seguridad que se puedan adoptar, la realización de estas operaciones es peligrosa para humanos, que se ven sometidos a importantes riesgos para su seguridad y salud. Con el fin de evitar estos peligros para los operarios humanos, la posibilidad de realizar estas tareas peligrosas en altura por medio de robots (autónomos o teleoperados) es una línea que se viene acometiendo durante las últimas tres décadas. En este proyecto el objetivo consiste en planificar movimientos que pueda realizar un robot híbrido de forma que pueda navegar a través de estas estructuras y pasar a través de los nodos estructurales fijándose de forma oportuna para poder acometer tareas de inspección y mantenimiento.

Head Researcher: Oscar Reinoso Garcia

More Information...     


Control de robots paralelos que han sufrido fallo de torque

Title: Control de robots paralelos que han sufrido fallo de torque

Funded by: Universidad Miguel Hernández, Vdo. de Investigación

Duration: 1/1/22-31/12/22

Description: En este proyecto se pretende desarrollar algoritmos de control y estabilización para robots paralelos que han sufrido fallo de torque en alguno de sus actuadores. Cuando esto ocurre, la articulación conectada al actuador fallido se comporta como una articulación pasiva que puede girar libremente, produciendo la pérdida de control del robot. Esta es una situación peligrosa dado que el robot puede moverse libremente sin control y podría colisionar consigo mismo o con objetos del entorno.

El método que se pretende aplicar en este proyecto es novedoso ya que no requiere de frenos ni de actuadores redundantes, y consiste en desplazar los actuadores sanos del robot hacia posiciones en las que las variedades de auto-movimiento se desvanecen. Dichas variedades de auto-movimiento son curvas o superficies sobre las que el robot puede deslizar libremente cuando sus actuadores sanos se bloquean.

Keywords: Variedad de auto-movimiento, robot paralelo, subactuado

Head Researcher: Adrián Peidró

More Information...     


EMERG2020

Title: RECONSTRUCTION OF SCENES FROM OMNIDIRECTIONAL CAMERAS USING VISUAL APPEARANCE AND DEEP LEARNING TECHNIQUES.

Funded by: Generalitat Valenciana

Duration: 01/2020 - 12/2020

Description:


Most of the existing algorithms that solve mapping and location problems stop working properly when the robot operates in an unstructured, complex and changing environment or when the robot can move with more than three degrees of freedom (DOF). ). In response to this challenge, the main research line of this project proposes the improvement and development of new mechanisms that allow efficient, robust and precise modeling of environments using vision systems. Specifically, the use of omnidirectional vision systems is proposed due to the large amount of information they provide at a relatively low cost. However, the use of these vision systems makes it necessary to consider the challenges of working with the images provided by this type of camera. In this sense, it is proposed to study in depth descriptors based on global appearance and make use of Deep Learning techniques.
The development of this project is developed through various objectives such as the analysis of the present algorithms for creating maps and location, comparison of the present global appearance algorithms and also, developing new location algorithms and / or appearance descriptors global based on Deep Learning. In order to improve the integration of the mobile robot in real work environments (Industry 4.0), in which they interact with people, characteristics that make it compatible with human perception will be incorporated into the map.

Keywords: Deep learning, scene reconstruction, localization, omnidirectional vision

Head Researcher: M. Ballesta

More Information...     


Map Building by Means of Appearance Visual Systems for Robot Navigation

Title: Map Building by Means of Appearance Visual Systems for Robot Navigation

Funded by: CICYT Ministerio de Ciencia e Innovación

Duration: 01/01/2017 al 31/12/2019

Description: In order to be truly autonomous, a mobile robot should be capable of navigating through any kind of environment while carrying out a task. In order to do that it is considered necessary that the robot possesses the ability to create a model of its workspace that allows to estimate its position inside it and navigate along a trajectory.
 
Map building and navigation is currently a very active research area, in which a large number of researchers focus on and where very different approaches have emerged based on diverse algorithms and using various kind of sensorial information. To the present days, most of the efforts have been focusing on construction of models of the environment based on a set of significant points extracted from it without considering the global appearance of the scene.
 
Considering the concepts posed above, we propose the improvement and development of new mechanisms that allow an efficient, robust and precise modelling of the environment by making use of omnidirectional vision systems. The research group has experience in the mentioned areas and during the last years has developed different approaches in the areas of map building, localization, exploration and SLAM by means of information gathered by different kind of vision systems installed on the robots. In order to carry out these approaches, an extensive study of the different description methods has been performed, both based on the extraction of significant points and local descriptors and also those methods based on the global appearance of the image, with remarkable results.

Keywords: Mobile robots, autonomous navigation, computer vision, omnidirectional systems

Head Researcher: L. Payá, O. Reinoso

More Information...     


BinaryRobot

Title: Diseño y desarrollo de un robot de estructura híbrida con actuadores hidráulicos de operación binaria

Funded by: Generalitat Valenciana

Duration: Del 01/01/2018 al 31/12/2019

Description: Las estructuras de acero requieren tareas de inspección, mantenimiento y reparación para garantizar su buen funcionamiento, su estabilidad, su integridad estructural, su longevidad y su buena estética. Tales estructuras están presentes en numerosas construcciones tales como puentes, puertos, aeropuertos, torres de telecomunicaciones, estadios, tendido eléctrico, centrales eléctricas y plantas industriales, además de formar parte del esqueleto de la mayoría de edificios. Habitualmente, las tareas de mantenimiento de estas estructuras verticales son realizadas por operarios humanos que deben trepar a las estructuras para realizar dichas tareas en ellas, lo que somete a dichos operarios a graves riesgos que incluyen la caída desde una altura considerable o la electrocución. Con el fin de evitar someter un operario humano a tales riesgos, desde hace un par de décadas, numerosos investigadores en todo el mundo han estado estudiando la posibilidad de emplear robots trepadores para llevar a cabo estos peligrosos trabajos en altura.

El objetivo principal que planteamos en este proyecto consiste en desarrollar un nuevo robot trepador articulado para la exploración y el mantenimiento de estructuras verticales de acero, con capacidad de movimiento en el espacio tridimensional. La principal novedad del robot a desarrollar en este proyecto frente a otros robots trepadores de estructuras desarrollados hasta la fecha es que el robot que proponemos tendrá actuación binaria (actuadores todo/nada), lo que simplifica en gran medida la planificación y el control de sus movimientos. Además, el robot a desarrollar tendrá un grado de redundancia cinemática moderadamente alto (entre 10 y 12 grados de libertad), lo que permitirá que éste disfrute de una movilidad suficientemente elevada para explorar estructuras tridimensionales a pesar de contar únicamente con actuadores binarios. De esta forma, mediante la combinación de actuación binaria y redundancia cinemática, pretendemos alcanzar un compromiso entre simplicidad y libertad de movimiento, de forma que contribuyamos a salvar los principales problemas de complejidad que actualmente impiden que los robots trepadores de estructuras se utilicen de manera más extensa

Keywords: robot trepador, operación binaria

Head Researcher: M. Ballesta

More Information...     


NAVICOM

Title: Robotic Navigation in Dynamic Environments by means of Compact Maps with Global Appearance Visual Information

Funded by: CICYT Ministerio de Ciencia e Innovación

Duration: 01/09/2014 al 31/05/2017

Description: Carrying out a task by a team of mobile robots that move across an unknown environment is one of the open research lines with a higher scope for a large development in the mid-term. In order to accomplish this task it has been proved necessary to possess a highly detailed map of the environment that will allow the localization of the robots as they execute a particular task. During the last years the proposer research team has worked with remarkable results in the field of SLAM (Simultaneous Localization and Mapping) with teams of mobile robots. The work has considered the use of robots equipped with cameras and the inclusion of the visual information gathered in order to build map models. So far, different kind of maps have been built, including metric maps based on visual landmarks, as well as topological maps base on global appearance-based information extracted from images.
These maps have allowed the navigation of the robots in these maps as well as the performance of high level tasks in the environment. Nonetheless, there exists space for improvement in several areas related to the research carried out so far. Currently, one of the important problems consists in the treatment of the visual information and the updating of this information as the environment changes gradually. In addition, the maps should be created considering the dynamic and static part of the environment (for example when other mobile robots or people move in the environment), thus leading to the creation of more realistic models, as well as strategies to update the maps as changes are detected. A different research line considers the creation of maps that combine simultaneously the information about the topology of the environment, as well as semantic and metric information that will allow a more effective localization of the robot in large environments and, in addition, will enable a hierarchical localization in these maps. The proposed research project considers to tackle the aforementioned lines, thus considering the task of developing dynamic visual maps that will incorporate the semantic and topological structure of the environment, as well as the metric information when the robots perform trajectories with 6 degrees of freedom.

Keywords: Mobile Robots, Visual Maps, Topological and Compact Navigation, Visual SLAM

Head Researcher: A. Gil, O. Reinoso

More Information...     


Topological mapping using the global appearance of a set of images

Title: Topological mapping using the global appearance of a set of images

Funded by: Generalitat Valenciana

Duration: 01/01/2015 - 31/12/2016

Description: Cuando un robot móvil desarrolla una tarea dentro de un entorno determinado, necesita tener cierto conocimiento del mismo para poder acometer de forma efectiva dicha tarea. Generalmente los entornos por los que se desenvuelven los robots son no estructurados, complejos y cambiantes. De este modo, resulta crucial crear modelos de estos entornos a partir de la información y observaciones que capturen los robots dentro del mismo, con objeto de que la localización sea efectiva. Es en este ámbito donde se centra la propuesta del proyecto.
 
El objetivo principal que planteamos consiste en resolver el problema de creación de mapas de un entorno desconocido, teniendo como entrada la información aportada por un sistema de visión instalado sobre el robot que explora dicho entorno. La alternativa tradicional para resolver este tipo de problemas consiste en la extracción de características locales de las escenas y la creación de mapas métricos en los que es posible estimar la posición del robot respecto a un sistema de referencia global salvo un determinado error asociado. Frente a esta filosofía, nosotros planteamos hacer uso de la información de apariencia global de las escenas para crear mapas topológicos, que contienen información de las localizaciones que componen el entorno y las relaciones de conectividad entre ellas. Se trata de alternativas más recientes  y computacionalmente eficientes que, sin embargo, necesitan un estudio profundo en tareas de creación de mapas robustos  de entornos extensos y con características dinámicas.

Keywords: Omnidirectional vision, global appearance, topological map, hierarchical localization

Head Researcher: L. Payá

More Information...     


VISCOBOT II

Title: Integrated Exploration of Enviroments by means of Cooperative Robots in order to build 3D Visual and Topological Maps intended for 6 DOF Navigation

Funded by: CICYT Ministerio de Ciencia e Innovación

Duration: 01/01/2011 al 31/12/2013

Description: While a group of mobile robots carry out a task, they need to find their location within the environment. In consequence a precise map of a general and undetermined environment has to be known by the robots. During the last decade a series of methods have been developed that allow the construction of the map by a mobile robot. These algorithms consider the case in which the vehicle moves along the environment, constructs the map while, simultaneously, computes its location within the map. As a result, this problem has been named Simultaneous Localization and Mapping (SLAM). This research project focusses thus on the construction of visual maps in 3D general unknown environments by using a team of mobile robots equipped with vision sensors. In this sense, we propose to undertake, among others, the following lines: 6 DOF cooperative visual SLAM, in which the robots move following general trajectories in the environment (with 6 degrees of freedom) instead of the classical trajectories in which it is assumed that the robots navigates on a two-dimensional plane; integrated exploration, where the exploration paths of the robots consider to maximize the knowledge of the environment and, at the same time, take into account the uncertainty in the maps created by the robot(s); map alginment and map fusion of local maps created by different robots; and finally, the creation of maps using the information based in the visual appearance that allows the construction of high-level topological maps.

Keywords: Robotics, Visual SLAM, Cooperative Exploration

Head Researcher: O. Reinoso

More Information...     


Technical Assistance

Hacia la formación práctica ubicua y digital en robótica mediante laboratorios remotos

Title: Convenio de Colaboración para el desarrollo del proyecto "Hacia la formación práctica ubicua y digital en robótica mediante laboratorios remotos”

Funded by: Centro de Inteligencia Digital de la Provincia de Alicante (CENID)

Duration: 6 meses (abril 2022 - octubre 2022)

Description: Este proyecto pretende desarrollar un laboratorio remoto, que consiste en una plataforma ciberfísica que permite al estudiantado de carreras técnicas conectarse a robots de forma remota, para hacer prácticas de laboratorio y experimentos con dichos robots, a través de Internet. Esto permitirá dotar al estudiantado de mayor flexibilidad espacial y temporal, permitiéndoles hacer prácticas de laboratorio de forma ubicua, sin limitarlos a tener que desplazarse a un laboratorio físico para realizar las prácticas únicamente en las horas en las que el acceso a dicho laboratorio está habilitado. El estudiantado se conectará a los robots reales a través de un servidor web y, a través de una interfaz, podrá comandar movimientos o experimentos para realizar con los robots remotos. El movimiento de los robots se mostrará a través de una webcam en tiempo real, y también se devolverá información relativa a los resultados del experimento remoto, información que será captada mediante sensores de posición, velocidad, y fuerza, colocados en el robot real. Los robots remotos que se implementarán para hacer prácticas a distancia serán de tipo paralelo o de cadena cinemática cerrada, ya que éstos disponen de mayor riqueza que los robots tradicionales de cadena cinemática serie, a la hora de ser estudiados en asignaturas de control y robótica.

Las actividades que abarcará este proyecto serán las siguientes cuatro: 1) construcción de dos robots paralelos con los que el estudiantado pueda realizar prácticas y experimentos a través de internet, 2) implementación del servidor web que gestione las reservas y el acceso remoto de los robots por parte del estudiantado, 3) la programación de interfaces gráficas de usuario que permitan al estudiantado comandar órdenes y experimentos a la vez que se observa el movimiento del robot en tiempo real a través de una webcam, y 4) diseño de prácticas y experimentos didácticos a realizar con la ayuda del laboratorio remoto desarrollado. El principal resultado esperado de este proyecto es la materialización del mencionado laboratorio remoto, que permitirá flexibilizar la realización ubicua de prácticas con robots reales a distancia, haciendo uso de las tecnologías digitales al servicio de la enseñanza y el aprendizaje.

Keywords: Robot paralelo, laboratorio remoto, prácticas de laboratorio, identificación, control

Head Researcher: Adrián Peidró

More Information...     


PiesCuadrados

Title: Contrato para el desarrollo de un software para la detección y medición de los diferentes tonos de piel

Funded by: PIES CUADRADOS LEATHER S.L.

Duration: 2019 - 2020

Head Researcher: O. Reinoso

More Information...     


IXION1

Title: Contrato para la realización de los trabajos de desarrollo experimental que forman parte del Proyecto presentado al Plan Avanza2 de título "iCOPILOT Asistente inteligente a la conducción"

Funded by: IXION INDUSTRY AND AEROSPACE, S.L.

Duration: 2014

Head Researcher: O. Reinoso

More Information...     


IXION2

Title: Contrato para la realización de los trabajos de desarrollo experimental que forman parte del proyecto presentado al Plan Avanza2 de título "SUPVERT Vehículo Autónomo Aéreo para Inspección de estructuras Verticales"

Funded by: IXION INDUSTRY AND AEROSPACE S.L.

Duration: 2014

Head Researcher: O. Reinoso

More Information...     


Essay A&CN (I)

Title: Development of an acquisition system for impact absorption and deformation essays covering normative UNE 4158 IN

Funded by: Automatica & Control Numérico (A&CN)

Duration: 1/2007 - 1/2008

Head Researcher: O. Reinoso


Essay A&CN (II)

Title: Analysis and deployment of a Mechanical System or Sporting Pavement covering normative UNE 4158 IN

Funded by: Automática & Control Numérico (A&CN)

Duration: 4/2007 - 1/2008

Head Researcher: O. Reinoso



  © Automation, Robotics and Computer Vision Lab. (ARVC) - UMH