Консультация и настройка демо-примера Airflow/PostgreSQL/Python

Задачи:

• Для описанной ниже прикладной задачи – объяснить, в чем отличия и преимущества Airflow по сравнению с BPMS (например, Camunda)? Если они есть. Или оптимально вообще использовать какое-то другое open-source ПО?
• Развернуть на виртуальной машине в Яндекс облаке Airflow и PostgreSQL. Создать таблицы в PostgreSQL.
• Настроить запуск «учебного» расчетного скрипта (use case 1 из прилагаемого документа).
• Дать инструкцию, как мониторить выполнение данных задач в Airflow.
• Проконсультировать, как реализовать в Airflow расчет накопленных с начала месяца значений (каждые сутки по всем параметрам поступают извне и затем, возможно, корректируются вручную значение, ручная корректировка может происходить на любые даты в прошлом в границах года). Необходимо по факту изменения значения максимально оперативно (для последующего оперативного отображения в интерфейсе пользователя) рассчитывать/пересчитывать и сохранять в БД суммы – накопленные с начала месяца значения, на каждые сутки с начала месяца до текущего дня.

Описание прикладной задачи:

Есть порядка 50 отчетов, формируемых каждые сутки. Каждый из них содержит порядка 100 строк. Значения 70 строк из каждых 100 – поступают извне, в виде набора данных, и попадают в общую таблицу БД. Значения оставшихся 30 строк – формируются по алгоритму на основе простых арифметических операций. В качестве исходных данных используются поступившие значения, а также другие хранящиеся в БД значения.

Идентификация выполняется по символьным кодам.

То есть задача – иметь БД и рядом некую «машину вычислений».

См. прилагаемый документ для более детального описания.

Для создания учебного примера небольшой набор тестовых данных будет предоставлен в Excel: три отчета по 15 строк, три набора входных данных по 10 строк…


Цена договорная - в отклике, пожалуйста, укажите как желаемую оплату, так и оценку трудозатрат.