Преобразовать данные хранящиеся в таблице в BigQuery
Необходимо скачать данные из таблицы хранящиеся в BigQuery (GCP). Запустить на каждую строчку данных определенный bash скрипт, сохранитъ преобразованные данные и положить в таблицу в BigQuery.
Предпочтительно чтобы код был написан на питоне в колабе (google collaboratory).
https://colab.research.google.com/notebooks/bigquery.ipynb
Схема исходной таблицы:
Content - поле, кoтopoe нeoбxoдимo тpaнcфopмиpoвaть.
Схема итоговой таблицы:
Поле “контент” описывает картинку в формате svg.
Трансформация не влияет на визуальную картинку.
Для того, чтоб проверить не изменили ли вы данные, запустите команду:
display(SVG("image.svg"))
И
display(SVG("new_image.svg"))
Image.svg - файл до трансформации
New_image.svg - файл после трансформации
Результаты должны бытъ одинаковыми
На небольшую выборку данных можно посмотреть тут:
For-ula:images_public.svg_view_100 ← BigQuery
Предпочтительно чтобы код был написан на питоне в колабе (google collaboratory).
https://colab.research.google.com/notebooks/bigquery.ipynb
Схема исходной таблицы:
| url | STRING | REQUIRED |
| content | STRING | NULLABLE |
| query_time | TIMESTAMP | REQUIRED |
| batch_number | INTEGER | NULLABLE |
| meta | STRING | NULLABLE |
Content - поле, кoтopoe нeoбxoдимo тpaнcфopмиpoвaть.
Схема итоговой таблицы:
| url | STRING | REQUIRED |
| content | STRING | NULLABLE |
| content_norm | STRING | NULLABLE |
| query_time | TIMESTAMP | REQUIRED |
| batch_number | INTEGER | NULLABLE |
| meta | STRING | NULLABLE |
Поле “контент” описывает картинку в формате svg.
Трансформация не влияет на визуальную картинку.
Для того, чтоб проверить не изменили ли вы данные, запустите команду:
display(SVG("image.svg"))
И
display(SVG("new_image.svg"))
Image.svg - файл до трансформации
New_image.svg - файл после трансформации
Результаты должны бытъ одинаковыми
На небольшую выборку данных можно посмотреть тут:
For-ula:images_public.svg_view_100 ← BigQuery