Bom dia a todos. Hoje ja possuo o airflow com os fluxox de trabalho normalmente, porem preciso acrescentar um disco para workers do Airflow (Mount Path) via helm e nao sei por onde começar. Alguem pode dar uma luz por favor ? Obs: O motivo do disco é porque as dags/scripts estao gerando muitos arquivos e preciso de um disco pra isso.
fala Kayan, desculpe a demora pra te responder, tô com as notificações estranhas no Dev.
O fluxo de trabalho que costumei trabalhar com o Airflow consistia em ler e escrever sempre do lake para o lake (usávamos o Azure Data Lake, mas pode ser o GCS, s3, qualquer um). Acho que costuma ser o mais indicado. Se tiver alguma restrição quanto a isso no teu ambiente, dá uma olhada nos values do chart que você vai achar as opções para fazer o mount com os PV e PVCs github.com/apache/airflow/blob/mai...
For further actions, you may consider blocking this person and/or reporting abuse
We're a place where coders share, stay up-to-date and grow their careers.
Bom dia a todos. Hoje ja possuo o airflow com os fluxox de trabalho normalmente, porem preciso acrescentar um disco para workers do Airflow (Mount Path) via helm e nao sei por onde começar. Alguem pode dar uma luz por favor ? Obs: O motivo do disco é porque as dags/scripts estao gerando muitos arquivos e preciso de um disco pra isso.
fala Kayan, desculpe a demora pra te responder, tô com as notificações estranhas no Dev.
O fluxo de trabalho que costumei trabalhar com o Airflow consistia em ler e escrever sempre do lake para o lake (usávamos o Azure Data Lake, mas pode ser o GCS, s3, qualquer um). Acho que costuma ser o mais indicado. Se tiver alguma restrição quanto a isso no teu ambiente, dá uma olhada nos values do chart que você vai achar as opções para fazer o mount com os PV e PVCs github.com/apache/airflow/blob/mai...