Nakon godinu i pol razvoja, izdala je Apache Software Foundation lansiranje nove verzije Apache Hadoop 3.3.0, verzija u kojem je dodao poboljšanja za ARM platforme, podrška za zakazivanje pokretanja kontejnera i druge stvari.
Apache Hadoop pozicionira se kao besplatna platforma organizirati distribuirana obrada velike količine podataka korištenjem mapa / redukcija paradigme, u kojoj je zadatak podijeljen na mnogo manjih izoliranih dijelova, od kojih se svaki može izvoditi na zasebnom čvoru klastera.
Pohrana temeljena na Hadoop-u može obuhvaćati tisuće čvorova i sadržavati eksabajte podataka.
O Apache Hadoopu
Hadoop uključuje implementaciju sustava distribuiranih datoteka Hadoop (HDFS), koji automatski osigurava suvišnost podataka i optimiziran je za MapReduce aplikacije.
Ključna funkcionalnost je da za učinkovito raspoređivanje poslova svaki datotečni sustav mora znati i navesti svoje mjesto, naziv stalka (točnije, prekidača) na kojem se nalazi radnički čvor.
Hadoop aplikacije mogu koristiti ove podatke za pokretanje rada na čvoru gdje su podaci, a ako to ne uspije, na istom stalku / preklopniku, smanjujući tako mrežni promet.
Pojednostaviti pristup podacima u skladištu Hadoop, Razvijena je baza podataka HBase i jezik svinja sličan SQL-u, što je SQL tip za MapReduce, čiji se upiti mogu paralelizirati i obrađivati na različitim Hadoop platformama.
Projekt se ocjenjuje kao potpuno stabilan i spreman za industrijski rad. Hadoop se aktivno koristi u velikim industrijskim projektima, pružajući mogućnosti slične platformi Google Bigtable / GFS / MapReduce, dok je Google službeno delegirao Hadoop i druge projekte Apachea ovlašteni koristiti patentno zaštićene tehnologije povezane s metodom MapReduce.
Hadoop je na prvom mjestu među spremištima Apachea po broju izvršenih promjena i petoj najvećoj bazi koda (približno 4 milijuna redaka koda).
Što je novo u Apache Hadoop 3.3?
Ova nova verzija Hadoopa pozicioniran je kao prva verzija koja ima el podrška za platforme zasnovane na ARM-u, pomoću koje će oni koji su zainteresirani za mogućnost implementacije ove platforme moći pronaći binarni format za ARM koji je već dostupan.
Još jedna od glavnih promjena koja je predstavljena u ovoj novoj verziji je implementacija nove verzije formata Protobuf (Međuspremnici protokola) koji se koriste za serializaciju strukturiranih podataka je ažuriran na verziju 3.7.1 zbog kraja životnog ciklusa grane protobuf-2.5.0.
Uz to, također mogućnosti priključka S3A već su proširene koja ga sada ima dodana podrška za provjeru autentičnosti pomoću tokena, poboljšana podrška za predmemoriranje odgovora s kodom 404, veće performanse S3guard i poboljšana operativna pouzdanost.
također Dodana je usluga DNS rješavača da bi klijent odredio poslužitelje putem DNS-a prema imenima hostova, što vam omogućuje da se odreknete popisa svih hostova u konfiguraciji.
Kao i podrška za zakazivanje pokretanja spremnika putem centraliziranog upravitelja resursa (ResourceManager), čak i uz mogućnost distribucije spremnika uzimajući u obzir opterećenje svakog čvora.
Od ostalih promjena koje se ističu ove nove verzije:
- Problemi s automatskim podešavanjem riješeni su u datotečnom sustavu ABFS.
- Dodana je izvorna podrška za datotečni sustav Tencent Cloud COS za pristup pohrani COS objekata.
- Dodana je puna podrška za Javu 11.
- Stabilizirala je provedbu HDFS RBF (Router Based Federation). Sigurnosne kontrole dodane su na usmjerivač HDFS.
- Dodan je direktorij aplikacija YARN za pretraživanje (drugi pregovarač o resursima).
Napokon, ako želite znati više o tome, detalje nove verzije možete provjeriti na izvorni post.
Za one koje zanima mogućnost dobivanja nove verzije, oni mogu preuzeti pripremljene binarne datoteke U sljedećem linku.