Преобразовать данные хранящиеся в таблице в BigQuery

Необходимо скачать данные из таблицы хранящиеся в BigQuery (GCP). Запустить на каждую строчку данных определенный bash скрипт, сохранитъ преобразованные данные и положить в таблицу в BigQuery.
Предпочтительно чтобы код был написан на питоне в колабе (google collaboratory).

https://colab.research.google.com/notebooks/bigquery.ipynb

Схема исходной таблицы:

url

STRING

REQUIRED

content

STRING

NULLABLE

query_time

TIMESTAMP

REQUIRED

batch_number

INTEGER

NULLABLE

meta

STRING

NULLABLE


Content - поле, кoтopoe нeoбxoдимo тpaнcфopмиpoвaть.

Схема итоговой таблицы:

url

STRING

REQUIRED

content

STRING

NULLABLE

content_norm

STRING

NULLABLE

query_time

TIMESTAMP

REQUIRED

batch_number

INTEGER

NULLABLE

meta

STRING

NULLABLE




Поле “контент” описывает картинку в формате svg.
Трансформация не влияет на визуальную картинку.
Для того, чтоб проверить не изменили ли вы данные, запустите команду:

display(SVG("image.svg"))
И
display(SVG("new_image.svg"))

Image.svg - файл до трансформации
New_image.svg - файл после трансформации

Результаты должны бытъ одинаковыми


На небольшую выборку данных можно посмотреть тут:
For-ula:images_public.svg_view_100 ← BigQuery

Читайте на сайте