Deep Learning Based Methodology For The Development Of Industrial Quality Inspection Systems

Abstract

In recent years, the manufacturing industry has gone through what has been called the fourth industrial revolution or Industry 4.0. Apart from still automating industrial processes, the revolution has as well brought new trends like zero-defect manufacturing, non-destructive unitary tests, or complete traceability of every part along the production chain. One of the sectors that have been influenced by this revolution is the solar sector. This sector, as part of the strategic sector of renewable energies, has received large funding from government entities and individual investors that have led to an improvement in technology. This has lowered the prices of panels, which in turn has increased the demand for them making it more necessary to automate the production process. Among all the stages during production, quality control plays a crucial role. In the specific case of the photovoltaic sector, quality control in industrial manufacturing is performed using the Electroluminescence technique which allows practitioners to obtain high resolution images of the photovoltaic cells where defects are highlighted. In contrast to the trend towards automation, in practice, panel inspection is still mostly performed by operators. In recent years, many proposals have been made to automate this quality inspection. However, the proposals made so far show certain limitations for their application in the increasingly dynamic and demanding industrial context. Some of the identified limitations are: the lack of flexibility to changes in production since the proposed procedures have been designed to take advantage of case specific data features. For example, an inspection system might have been designed to take advantage of the high contrast between the light background and the thin and dark longitudinal cracks in the cells. However, a variation in the data like a darker due to a different material composition of the cells or different shapes of the cracks may suppose to redesign the entire inspection system to adapt to the changes. Other proposals contemplate algorithms that require a large number of representative defective samples for training, which are usually difficult to obtain in industrial environments. And finally, some solutions consist of algorithms that can act as black boxes with respect to their interpretability, which together with giving as a result only whether a part is defective or not, can raise doubts about the performance of the inspection system. For these reasons, the objective of the thesis has consisted in designing a methodology based on Deep Learning techniques for the development of inspection systems. The methodology has contemplated techniques that are robust and flexible to changes, but also able to work in industrial environments where there are few available defective samples, and output more interpretable results than a mere classification, for example, the location of defects in the samples. At the same time, the methodology offers ways to obtain inspection models from the very beginning in the production line, and take advantage of their characteristics to obtain more accurate models with almost no need for human intervention.

Azken urte hauetan fabrikazio industriala bete betean sartuta egon da industry 4.0 edo laugarren industriala-iraultza deitu den prozesuan. Iraultza hau, aurretik prozesu industrialen automatizazioaren jarraipena mantenduz gain, beste tendentzi berri batzuk ere ekarri ditu, esate baterako, akatsik gabeko produkzioa, kalitate kontrol ez intrusibo unitarioa, edo fabrikazioan zehar pieza guztien kontrola eramatea. Iraultza hau pairatu duten sektore ezberdinen artean, panel fotovoltaikoen sektorea dago. Sektore hau, energia berriztagarrien sektore estrategikoaren barruan izanda, gobernuen eta inbertsore pribatuen finantzaketa handia jaso du gaur egungo teknologia hobetzeko helburuarekin. Honek, panelen prezioa behera egitea eragin du, ondorioz panelen eskaera handituz eta automatizazioaren beharra ere areagotuz. Fabrikazio prozesuaren etapa guztien artean, kalitate kontrola paper oso garrantzitsua betetzen du. Sektore fotovoltaikoaren kasu konkretuan, kalitate kontrola Elektrolumininsentzia deituriko teknikaren bitartez egiten ohi da, non paneletako defektuak nabarmenduta agertzen diren erresoluzio altuko irudiak ateratzen dira. Nahiz eta prozesuen automatizaziorantz mugitu, gaur egun sektore honetan langileek jarraitzen dute izaten kalitate kontrolaren egiten dutenak. Horregatik, azken urte hauetan hainbat proposamen egin dira automatizaziorantz begira. Hala ere, proposaturiko soluzioak hainbat limitazio azaltzen dute kontextu industrial batean aplikatu ahal izateko. Limitazioen artean hauek nabarmentzen dira: kanpo aldaketei aurre egiteko malgutasun gutxi dute zeren aplikaturiko prozedimenduak datuen ezaugarri oso partikularrak kontuak izanda diseinatu dira. Esate baterako, inspekzio sistema diseinatzerako orduan, zelularen kolore argia eta defektu ilun eta longitudinalaren arteko kontraste handia aprobetxatu da. Baina zelularen material konposizio berri baten ondorioz zelula aspektu ilunago bat izaten badu edota defektuen itxura aldatzen bada, posible da soluzio osoaren berdiseinuaren beharra izatea. Beste alde batetik, soluzio batzuk entrenamendurako akastun lagin asko behar duten algoritmoak erabiltzen dute. Halako laginak ezin dira beti erraz lortu, eta kontextu industrial batean are eta zailago izan daiteke. Eta azkenik, erabilitako algoritmo batzuk kaxa beltz bat izango lirateke moduan joka dezake, non pieza bat txarra edo ona den bakarrik iragarriz erabiltzaileen aldetik momentu batzuetan sistema ondo funtzionatzen duen ala ez inguruan mesfidantza sortu dezake. Arrazoi hauengatik, tesi honen helburu nagusia Deep Learning oinarrituriko kalitate kontrolerako sistema bat eratzeko balioko duen metodologia bat eratzea izan da. Metodologiak teknika sendo eta flexibleak jorratu ditu, beti ere akastun diren datuen behar minimoa kontuan izanda eta emaitz interpretableak emateko kapazitatea bermatuz, hala-nola akatsen posizioa emanez. Honez gain, metodologia baita lehenengo momentutik inzpekziorako modelo bat lortzeko aukera eta gero gizakiaren parte hartze minimoarekin modeloak hobetzeko aukera ematen du.

En los últimos años la industria manufacturera ha estado envuelta en lo que ha denominado como cuarta revolución industrial o Industry 4.0. Además de perseverar en la automatización de los procesos, la revolución ha traído consigo nuevas tendencias para producción tales como la fabricación sin defectos, un control de calidad no destructivo unitario, o el rastreo absoluto de las piezas a lo largo de la cadena de producción. Entre los distintos sectores influenciados por la revolución, se encuentra el sector fotovoltaico. Este sector, ha recibido gran financiación de entidades gubernamentales e inversores privados que ha derivado en una mejora de la tecnología. Esto ha hecho que los precios de los paneles se hayan abaratado, aumentando así la demanda de los mismos, haciendo a su vez más necesaria la automatización de su proceso de producción. Entre todas las etapas durante la producción, el control de calidad juega un papel de vital importancia. En el caso concreto del sector fotovoltaico, el control de calidad en su fabricación industrial se realiza valiéndose de la técnica de Electroluminiscencia, la cual que permite obtener imágenes de alta resolución de las células fotovoltaicas donde los defectos quedan resaltados. En contraste con la tendencia hacia la automatización, en la práctica la inspección de los paneles sigue realizándose mayormente por operarios. En los últimos años numerosas propuestas han sido realizadas con el objetivo de automatizar este control de calidad. No obstante, las propuestas hasta el momento muestran ciertas limitaciones para su aplicación en el contexto industrial cada vez más dinámico y demandante. Entre las limitaciones identificadas se encuentran: la falta de flexibilidad a cambios en la producción ya que los procedimientos propuestos han sido diseñados para sacar partido de particularidades muy específicas de los datos. Por ejemplo, el sistema de inspección puede haberse diseñado teniendo en cuenta el gran contraste que el fondo claro de la célula y las grietas negras y longitudinales en las mismas presentan. No obstante, una variación, como por ejemplo, un fondo más oscuro debido a una nueva composición de las células o grietas con distinta morfología, puede suponer la necesidad de tener que volver a diseñar el sistema de inspección por completo. Por otra parte, algunas propuestas contemplan algoritmos que requieren muchas muestras defectuosas para su entrenamiento, las cuales suelen ser de difícil acceso en entornos industriales. Y por último, algunas soluciones consisten en algoritmos que pueden actuar como cajas negras respecto a su interpretabilidad, que en conjunto con dar como resultado solo si una pieza es defectuosa o no, puede suscitar dudas sobre el funcionamiento del sistema de inspección. Por estas razones, el objetivo de esta tesis ha consistido el diseño de una metodología basada en técnicas Deep Learning para el desarrollo de sistemas de inspección. La metodología ha contemplado técnicas robustas y flexibles a cambios, pero capaces de funcionar en entornos industriales con escasas muestras defectuosas, y además ofrecer resultados más interpretables que una mera clasificación, como por ejemplo, la localización de los defectos en las muestras. A su vez, se ofrecen maneras de obtener modelos de inspección desde un primer momento en la línea de producción, y aprovechar las características de los mismos para obtener cada vez modelos más precisos sin casi necesitar una intervención humana.