Turinys:

Kokius pagrindinius konfigūracijos parametrus vartotojas turi nurodyti, kad paleistų „MapReduce“užduotį?
Kokius pagrindinius konfigūracijos parametrus vartotojas turi nurodyti, kad paleistų „MapReduce“užduotį?

Video: Kokius pagrindinius konfigūracijos parametrus vartotojas turi nurodyti, kad paleistų „MapReduce“užduotį?

Video: Kokius pagrindinius konfigūracijos parametrus vartotojas turi nurodyti, kad paleistų „MapReduce“užduotį?
Video: Map Reduce Execution Framework - Running Jobs and Changing Parameters at runtime 2024, Gruodis
Anonim

Pagrindiniai konfigūracijos parametrai, kuriuos vartotojai turi nurodyti „MapReduce“sistemoje:

  • Darbo įvesties vietas paskirstytoje failų sistemoje.
  • Darbo išvesties vieta paskirstytoje failų sistemoje.
  • Duomenų įvesties formatas.
  • Duomenų išvesties formatas.
  • Klasė, kurioje yra žemėlapio funkcija.
  • Klasė, kurioje yra mažinimo funkcija.

Kokie yra pagrindiniai „MapReduce“programos konfigūracijos parametrai?

Pagrindiniai „MapReduce“sistemos konfigūracijos parametrai yra šie:

  • Įveskite darbų vietą paskirstytoje failų sistemoje.
  • Užduočių išvesties vieta paskirstytoje failų sistemoje.
  • Duomenų įvesties formatas.
  • Duomenų išvesties formatas.
  • Klasė, kurioje yra žemėlapio funkcija.
  • Klasė, kurioje yra mažinimo funkcija.

Taip pat galima paklausti, kokie yra žemėlapių ir reduktorių parametrai? Keturi žemėlapių sudarymo parametrai yra šie:

  • LongWritable (įvestis)
  • tekstas (įvestis)
  • tekstas (tarpinis išvestis)
  • IntWritable (tarpinė išvestis)

Taip pat kyla klausimas, kokie yra pagrindiniai MapReduce darbo komponentai?

  • Pagrindinė vairuotojų klasė, kurioje pateikiami darbo konfigūracijos parametrai.
  • Mapper klasė, kuri turi išplėsti org. apache. hadoop. sumažinti. Mapper klasė ir pateikti žemėlapio () metodo įgyvendinimą.
  • Reduktoriaus klasė, kuri turėtų išplėsti org. apache. hadoop. sumažinti. Reduktoriaus klasė.

Kas yra skaidymas ir kaip jis padeda MapReduce darbo procese?

Skirstytuvas in MapReduce darbas vykdymas kontroliuoja tarpinių žemėlapio išėjimų raktų skaidymą. Su padėti maišos funkcijos raktas (arba rakto poaibis) išveda pertvara . Įrašai, turintys tą pačią rakto reikšmę, patenka į tą patį pertvara (kiekvieno kartografo viduje).

Rekomenduojamas: