Agendamento e coordenação dos fluxos de trabalho Oozie em Hadoop - dummies

Depois de criar um conjunto de fluxos de trabalho, você pode usar uma série de trabalhos do coordenador Oozie para agendar quando eles são executado. Você tem duas opções de agendamento para execução: um tempo específico e a disponibilidade de dados em conjunto com um determinado horário.

Programação baseada no tempo para trabalhos do coordenador Oozie

Os trabalhos do coordenador Oozie podem ser programados para serem executados em um determinado momento, mas depois de iniciados, eles podem ser configurados para serem executados em intervalos especificados. O exemplo a seguir mostra um trabalho de coordenador que começa a ser executado em uma hora e data de início especificadas:

… $ {workflowAppPath}

Programação baseada em disponibilidade de tempo e dados para trabalhos do coordenador Oozie

Os trabalhos do coordenador Oozie também podem ser programados para serem executados em um determinado momento se arquivos de dados ou diretórios especificados Estão disponíveis. A lista a seguir mostra um exemplo de um coordenador que começa a ser executado em uma hora e data de início especificadas, é executado uma vez por dia, se o conjunto de dados identificado por triggerDatasetDir existe e é executado até o tempo final especificado:

… $ {triggerDatasetDir} $ {startTime} $ {workflowAppPath}

Executando trabalhos do coordenador Oozie

Similar aos trabalhos de fluxo de trabalho Oozie, os trabalhos do coordenador exigem um trabalho. arquivo de propriedades e o coordenador. O arquivo xml precisa ser carregado no HDFS. Para executar um trabalho de coordenador Oozie a partir da interface de linha de comando Oozie, emita um comando como o seguinte, garantindo o trabalho. O arquivo de propriedades é acessível localmente:

$ oozie job -config sampleCoordinator / job. properties -run

Depois de enviar o trabalho, o coordenador é armazenado no banco de dados de objetos Oozie. Após a apresentação, a Oozie retorna um identificador para permitir monitorar e administrar seu coordenador - trabalho: 0000001-00000001234567-oozie-C.

Para verificar o status deste trabalho, execute o comando

oozie job -info 0000001-00000001234567-oozie-C