Turinys:

Kaip paleisti savo spark History serverį?
Kaip paleisti savo spark History serverį?

Video: Kaip paleisti savo spark History serverį?

Video: Kaip paleisti savo spark History serverį?
Video: Introduction to Spark History Server and how to keep it running 2024, Gegužė
Anonim

Norėdami įjungti „Spark“istorijos serverį:

  1. DSEFS failų sistemoje sukurkite įvykių žurnalų katalogą: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kai įgalintas įvykių registravimas, pagal numatytuosius nustatymus įrašomi visi žurnalai, todėl saugykla laikui bėgant didėja.

Be to, kaip nustatyti kibirkštinio istorijos serverį?

Norėdami įjungti „Spark“istorijos serverį:

  1. DSEFS failų sistemoje sukurkite įvykių žurnalų katalogą: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kai įgalintas įvykių registravimas, pagal numatytuosius nustatymus įrašomi visi žurnalai, todėl saugykla laikui bėgant didėja.

Panašiai, kaip rasti savo sparkinio istorijos serverio URL? Pavyzdžiui, už istorijos serveris , jie paprastai būtų pasiekiami adresu serveris - url >:18080/api/v1, o veikiančiai programai adresu https://localhost:4040/api/v1. API programa nurodoma jos programos ID [app-id].

Be to, kas yra spark History serveris?

The Spark istorijos serveris yra stebėjimo įrankis, rodantis informaciją apie baigtą Kibirkštis programos. Ši informacija yra paimti iš duomenų, kuriuos programos pagal numatytuosius nustatymus įrašo į Hadoop paskirstytos failų sistemos (HDFS) katalogą.

Kas yra Sparkui?

„Spark Web“vartotojo sąsaja leidžia matyti planavimo etapų ir užduočių sąrašą, informaciją apie aplinką, informaciją apie vykdomus vykdytojus ir kt. Peržiūrėkite šią 30 minučių demonstracinę versiją, kad sužinotumėte apie: „Spark“programos komponentus ir gyvavimo ciklą. Kaip jūsų „Spark“programa veikia „Hadoop“klasteryje.

Rekomenduojamas: