Conceptual approach for the implementation of a camera data processing algorithm on a Xilinx FPGA in VHDL

Abstract

Automotive world is in constant technological evolution and one of the fields under development are the camera monitoring systems for mirror replacement. A simple substitution does not generate a real value as the processing capabilities of this systems can provide advanced driver-assistance. Object detection can be implemented in order to enhance the information provided by the system as well as provide passive security measures for the vehicles. However, the vehicles are already overloaded with electronic components and fitting the processing system for this kind of problem might be difficult. Therefore, an approach to connect the vehicle with a cluster of processor units on the cloud would allow powerful analytic resources without adding more electronics equipment nor increasing the power consumption to the car. CPU’s and GPU’s have been tested both for hosting image processing algorithm. A potential tool to replace those platforms are FPGA, as they offer parallel computing that could accelerate the image processing and allow real-time application. However, FPGA present a low portability either from one platform to the other or between different boards. In terms of object detection algorithms, convolutional neural networks are the state-of-the-art technology. However, as mentioned before, FPGA portability among boards is a weak point and, for a hardware field that is constantly evolving and improving presenting better and more powerful boards, having to redesign every time the algorithm is not optimal and might be the reason why there is still not a neural network framework for this kind of boards. The lack of an optimal framework design and the high resources required for implementing neural networks, especiallyin real-time applications, makes the implementation of those on FPGA a complicated task.

El món de l'automocó està en constant evolució tecnològica i un dels camps en desenvolupament són els sistemes de monitorització de càmeres per al reemplaçament de mirallsretrovisors. Una mera substitució no genera un valor real,ja que les capacitats de processament d'aquests sistemes poden proporcionar assistència avançada per a la conducció. Es pot implementar la detecció d'objectes ja siguiper millorar la informació proporcionada pel sistema com perproporcionar mesures de seguretat passives per als vehicles. Tanmateix, els vehicles ja estan sobrecarregats amb components electrònics i la instal·lació del sistema de processament per a aquest tipus de problema pot ser difícil. Per tant, un enfocament per connectar el vehicle amb un clúster d'unitats de processadorsal núvol permetriadisposarrecursos analítics potents sense afegir més equips electrònics ni augmentar el consum d'energia en el vehicle.Les CPU i les GPU han estat utilitzadesper a la execuciód'algorismes de processament d'imatges. Una eina potencial per reemplaçar aquestes plataformes són les FPGA, ja que ofereixen execució enparal·lel que permetria accelerar el processament d'imatges i permetrial'aplicació en temps real. No obstant això, les FPGA presentenuna baixa portabilitat des d'una plataforma a l'altra o entre diferents plaques.Pel que fa als algorismes de detecció d'objectes, les xarxes neuronales convolucionals són la tecnologia més avançada. Tanmateix, com s’haesmentatabans, la portabilitatde lesFPGA és un punt feble i, per a un camp de maquinari que evoluciona constantment i que presenta cada cop plaquesmillors i més potents, haverde redissenyar cada vegada que l'algoritme no és òptim i podria ser la raó per la qual encara no existeixun framework de disseny per a xarxesneuronals per a aquest tipus de dispositius. La manca d'unmarc dedisseny òptim i els alts recursos necessaris per implementar xarxes neuronals, especialment en aplicacions en temps real, fa que la implementació d'aquestes en FPGA sigui una tasca complicada.

El mundo automotriz está en constante evolución tecnológica y uno de los campos en desarrollo son los sistemas de monitoreo de cámaras para el reemplazo de los espejos retrovisores. Una simple sustitución no genera un valor real, ya que las capacidades de procesamiento de este sistema pueden proporcionar asistenciaavanzada a la conducción. La detección de objetos se puede implementaro bienpara mejorar la información proporcionada por el sistema, o bien paraproporcionar medidas de seguridad pasiva para los vehículos. Sin embargo, los vehículos ya están sobrecargados con componentes electrónicos y el ajuste del sistema de procesamiento para este tipo de problema podría ser difícil. Por lo tanto, conectar el vehículo con un clusterde procesadoresen la nube permitiría disponer de recursos analíticos potentes sin agregar más equipos electrónicos ni aumentar el consumo de energía en elvehículo.Las CPU y las GPU han sido utilizadas como plataformapara ejecutaralgoritmosde procesamiento de imágenes.Una herramienta potencial para reemplazar esas plataformas son lasFPGA, ya que ofrecen computación en paraleloque podría acelerar el procesamiento de la imagen y permitir aplicaciones en tiempo real. Sin embargo,lasFPGA presentanuna portabilidad baja ya sea de una plataforma a otra o entre diferentes placas.En términos de algoritmos de detección de objetos, las redes neuronales convolucionales son la tecnología más avanzada. Sin embargo, como se mencionó anteriormente, la portabilidad entre placas FPGA es un punto débil y, para un campo de hardware que está en constante evolución y mejora presentando placas mejores y más potentes, tener que rediseñar cada vez el algoritmo no es óptimo y podría ser la razón por la que todavía no existe un framework orientado a redes neuronales para este tipode placas.La falta de un marco diseño óptimo y los grandesrecursos necesarios para implementar redes neuronales, especialmente en aplicaciones en tiempo real, hace que la implementación de estosen FPGA sea una tarea complicada