Удаление дублей в таблице

Спарсили 2 агрегатора недвижимости с разными полями. 165 тыс объектов. Привели к некой общей структуре. Нужно предложить и при желании реализовать алгоритм поиска дублей обьектов как внутри, так и между выборками агрегаторов.

Прошу сразу указать начальную сумму интереса к проекту и телеграм для связи