Budapest University of Technology and EconomicsFaculty of Civil Engineering - Since 1782

A fotogrammetriai vagy lézerszkenneléssel gyűjtött pontfelhő feldolgozása jelenleg jelentős kihívásokat támaszt a mérnökkel szemben. A pontfelhők mérnöki alkalmazása azért terjedt el, mert nagymennyiségű információt tartalmaz a mérendő objektumról; mindez nem kizárólag geometriai adat, hanem a színinformáción keresztül például vizualizációs lehetőséget is nyújt. Ugyanakkor a nagy adatmennyiség a tárolást és a feldolgozást is megnehezíti, jelenleg az adatok értelmezése jobbára csak emberi közreműködés igénybevételével oldható meg.

A fényképek alapján történő térbeli adatfeldolgozásban új távlatokat nyitott a mesterséges intelligencia alkalmazásának lehetősége. A pontfelhők feldolgozása során is hasonló előrelépés várható az AI támogatásával.

A kutatás célja a pontfelhő-feldolgozás támogatása mesterséges intelligenciával. Egy, a pontfelhők feldolgozását támogató neurális hálózat kialakításával első lépésben a pontmennyiség ritkítása érhető el, további lépésekben az osztályozás, majd az objektumfelismerés jelenthet célt.

 

Kutatási terv:

    1. Végezze el a mélytanuló (deep learning) algoritmusok képeken és térbeli adatokon való alkalmazását a kutató szakirodalmak feldolgozása alapján.

    2. Jelölje ki a kutatása során vizsgálandó objektumok jellegét és a felhasználási területet (pl. szerkezetvizsgálat, ipari automatizálás, önvezető járművek, orvosi diagnosztika); végezzen adatgyűjtést, melyet a kutatásai során tanító- és ellenőrző adatként használhat.

    3. Dolgozzon ki egy vagy több hatékony neurális hálózatot, mely az adatok feldolgozásában előrelépést jelent a jelenlegi piaci megoldásokhoz képest.

    4. Dolgozzon ki olyan minősítő eljárást, mellyel saját eredményeit összehasonlíthatja és értékelheti más megoldásokkal szemben.

 

A munka során együttműködés valósulhat meg a BME más karaival, az Építőmérnöki Kar más tanszékeivel, illetve a Fotogrammetria és Térinformatika Tanszék ipari partnereivel.

 

***

 

Processing a point cloud faces significant challenges for engineers, whether it was collected by photogrammetry or laser scanning. The use of point clouds in engineering is widespread because it contains a large amount of information about the object to be measured, providing geometric data and enabling visualization through color information. At the same time, the large amount of data also makes storage and processing complex. Currently, the interpretation of data can mostly only be solved with the help of human intervention.

The possibility of applying artificial intelligence has opened up new perspectives in spatial data processing based on photographs. Similar progress is expected in the processing of point clouds with the support of AI.

The research aims to support point cloud processing with deep learning. With the creation of a neural network supporting the processing of point clouds, the thinning of the point quantity can be achieved in the first step; in the further steps, classification and object recognition can be the goal.

 

Preliminary research plan:

    1. A thorough review of state-of-the-art literature and applications of deep learning algorithms applied on images and spatial data.

    2. Select the nature and area of use of the objects to be examined during the research (e.g., structural inspection, industrial automation, autonomous driving vehicles, medical diagnostics); collect data that you can use as training and validation data in the research.

    3. Develop one or more efficient neural networks that represent advances in data processing compared to current market solutions.

    4. Carry out a qualification process that allows to compare and evaluate the own results against other solutions on the field.

 

During the research, potential cooperation is available with other BME Faculties, other departments of the Faculty of Civil Engineering, and with the industrial partners of the Department of Photogrammetry and Geoinformatics.