Kas yra „DistCp“sistemoje „Hadoop“?
Kas yra „DistCp“sistemoje „Hadoop“?

Video: Kas yra „DistCp“sistemoje „Hadoop“?

Video: Kas yra „DistCp“sistemoje „Hadoop“?
Video: KRP - KAS YRA? 2024, Gegužė
Anonim

DistCp (paskirstyta kopija) yra įrankis, naudojamas dideliam kopijavimui tarp / klasterio viduje. Tai naudoja MapReduce vykdyti jo platinimą, klaidų tvarkymą ir atkūrimą bei ataskaitų teikimą. Ji išplečia failų ir katalogų sąrašą į įvesties užduotis, kurių kiekviena nukopijuos šaltinio sąraše nurodytų failų skaidinį.

Panašiai galima paklausti, ar Distcp perrašo?

Taip pat turėčiau kai kuriuos paaiškinti ir paaiškinti distcp - perrašyti valios perrašyti failą, nesvarbu, ar dydis atitinka, ar ne. Taip bus atnaujinti visi hdfs-nn2 failai, kurių dydis nesutampa su hdfs-nn1, taip pat bus ištrinti visi pašaliniai failai.

Panašiai, kas yra „Hadoop FS“komanda? Failų sistema ( FS ) apvalkalas apima įvairius apvalkalo tipo komandas kurie tiesiogiai sąveikauja su Hadoop Paskirstyta failų sistema ( HDFS ), taip pat kitose failų sistemose, kurios Hadoop palaiko, pvz., Vietinis FS , HFTP FS , S3 FS , ir kiti.

Kaip tokiu būdu perkelti duomenis iš vieno HDF į kitą HDF?

Hadoop fs cp – lengviausia būdas kopijuoti duomenis iš vieno šaltinio katalogą kitas . Naudoti hadoop fs -cp [šaltinis] [paskirtis]. Hadoop fs copyFromLocal – reikia kopijuoti duomenis iš vietinės failų sistemos į HDFS ? Naudoti hadoop fs -copyFromLocal [šaltinis] [paskirties vieta].

Kaip kopijuoti grupę iš vienos grupės į kitą?

Failų kopijavimas tarp klasteriai . Tu gali kopijuoti failus arba katalogus tarp skirtingų klasteriai naudodami komandą hadoop distcp. Turite įtraukti kredencialus failą tavo kopija prašyti, todėl šaltinis klasteris gali patvirtinti, kad esate autentifikuotas šaltiniui klasteris ir taikinys klasteris.

Rekomenduojamas: