Kas yra „Hadoop“žemėlapių sudarytojas ir reduktorius?
Kas yra „Hadoop“žemėlapių sudarytojas ir reduktorius?

Video: Kas yra „Hadoop“žemėlapių sudarytojas ir reduktorius?

Video: Kas yra „Hadoop“žemėlapių sudarytojas ir reduktorius?
Video: Map Reduce explained with example | System Design 2024, Lapkritis
Anonim

Pagrindinis privalumas, MapReduce yra tai, kad duomenų apdorojimą lengva pritaikyti keliuose skaičiavimo mazguose. Pagal MapReduce modelį, duomenų apdorojimo primityvai vadinami kartografais ir reduktoriai . Duomenų apdorojimo programos išskaidymas į kartografus ir reduktoriai kartais yra nereikšmingas.

Turint tai omenyje, kas yra kartografas ir reduktorius?

„MapReduce“susideda iš dviejų pagrindinių funkcijų: Žemėlapio sudarytojas ir reduktorius . Žemėlapio sudarytojas yra funkcija, kuri apdoroja įvesties duomenis. The kartografas apdoroja duomenis ir sukuria keletą mažų duomenų gabalėlių.

kas yra kartografas? A kartografas gali apibūdinti duomenis kartografas taip pat geografinius žemėlapius kuriantis asmuo. Geografinės pareigos kartografas arba žemėlapių technikas apima geografinių duomenų rinkimą ir apdorojimą, kad sukurtų vietovės žemėlapį.

Tokiu būdu, kam „Hadoop“naudojamas žemėlapių sudarytojas ir reduktorius?

Pasak The Apache Software Foundation, pagrindinis tikslas Žemėlapis / Sumažinti yra padalinti įvesties duomenų rinkinį į nepriklausomus gabalus, kurie apdorojami visiškai lygiagrečiai. The Hadoop MapReduce framework surūšiuoja žemėlapių išvestis, kurios vėliau įvedamos į sumažinti užduotys.

Kuo naudingas žemėlapių sudarytojas „Hadoop“?

Bėgiojant Hadoop darbą, programos paprastai įgyvendina Žemėlapio sudarytojas ir reduktorių sąsajos, skirtos sudaryti žemėlapį (individualios užduotys, paverčiančios įvesties įrašus į tarpinius įrašus) ir sumažinti metodus, skirtus sumažinti tarpinių reikšmių rinkinį, kurio raktas yra mažesnis reikšmių rinkinys.

Rekomenduojamas: