Развернуть LLM на облачном GPU сервере

Развернуть open source LLM на облачном GPU сервере, на которую с другого удалённого сервера будут осуществляться запросы от приложения.

Модель LLM:
IlyaGusev/saiga_llama3_8b_gguf
model-f16.gguf