Kas yra kibirkšties transliacija?
Kas yra kibirkšties transliacija?

Video: Kas yra kibirkšties transliacija?

Video: Kas yra kibirkšties transliacija?
Video: Lietuvos WU17 rinktinės trenerės I. Kibirkšties konferencija 2024, Lapkritis
Anonim

Transliacija kintamieji „Apache“. Kibirkštis yra mechanizmas, skirtas dalytis kintamaisiais tarp vykdytojų, kurie yra skirti tik skaityti. Be transliacija kintamieji, šie kintamieji būtų siunčiami kiekvienam vykdytojui atliekant kiekvieną transformaciją ir veiksmą, ir tai gali sukelti tinklo papildomų išlaidų.

Taip pat žmonės klausia, kada turėčiau transliuoti kibirkštį?

Transliacija kintamieji dažniausiai naudojami, kai užduotims keliuose etapuose reikia tų pačių duomenų arba kai reikia saugoti duomenis deserializuota forma. Transliacija kintamieji sukuriami naudojant kintamąjį v, iškviečiant SparkContext.

Be to, kas yra akumuliatoriai ir transliacijos kintamieji kibirkštyje? Kibirkštis palaiko dviejų tipų bendrinimą kintamieji : transliacijos kintamieji , kuris gali būti naudojamas visų mazgų atmintyje išsaugoti reikšmes talpykloje ir akumuliatoriai , kurie yra kintamieji kurie yra tik „pridedami“, pvz., skaitikliai ir sumos.

Atsižvelgiant į tai, kas yra kibirkštinis akumuliatorius?

Akumuliatoriai yra kintamieji, kurie „pridedami“tik per asociatyviąją operaciją ir todėl gali būti efektyviai palaikomi lygiagrečiai. Jie gali būti naudojami skaitikliams (kaip MapReduce) arba sumoms įgyvendinti. Kibirkštis iš prigimties palaiko akumuliatoriai skaitinių tipų, o programuotojai gali pridėti naujų tipų palaikymą.

Kaip atnaujinti transliacijos kintamąjį kibirkštyje?

  1. Perkelkite nuorodos duomenų paiešką į forEachPartition arba forEachRdd, kad ji priklausytų tik darbuotojams.
  2. Iš naujo paleiskite „Spark Context“kiekvieną kartą, kai pasikeičia pakartotiniai duomenys, naudodami naują transliacijos kintamąjį.

Rekomenduojamas: