İçeriğe geç

Big Data – #DersNotlarım2

Hadoop Ek Bileşenleri

SPARK
  • Veriyi in-memory olarak (RAM’de) işlediği için hızlı çalışır.
  • MapReduce dağıtık işleme modelini kullanmaz.
  • Hadoop’dan bağımsız çalışabilse de çoğunlukla hadoop ekosisteminden ayrı kullanılır.
  • SQL desteği sağlar.
  • Python, Scala ve R dillerini destekler.
  • Sürekli veri işleme, dağıtık makine öğrenmesi algoritmaları ve grafik veri işleme desteği sunar.
  • Hadoop ve Hadoop tabanlı olmayan cluster üzerinde de çalışabilir.
HIVE
  • HQL olarak bilinen SQL benzeri bir dil ile Hadoop’a verilere erişim, verileri sorgulama işlevlerini sağlar.
  • Facebook tarafından geliştirilmiş, daha sonrasında Apache’ye devredilmiş açık kaynaklı bir projedir.

PIG
  • Hadoop üzerinde saklı büyük verinin paralel işlenmesi için geliştirilmiş ortamdır.
  • Java / Map Reduce zorluğunu Latin isimli dil ile çözer.
  • Latin dilinde yazılan görevleri otomatik olarak Java/MapReduce görevine çevirir.
  • Bu haliyle veri sorgulamadan çok veri işleme dili olarak görülür.
  • Veri toplama, sıralama gibi işlemleri içeren uygulamaları yazmak, kullanıcıların kendi fonksiyonlarını yazabilmesi için, Ruby,Java, Python desteği gibi ek özellikler barındırır.




HBase
  • NoSQL veritabanı yönetim sistemidir.
  • HDFS üzerinde çalışır.
  • Sütun bazlı veri yapısının, sparse verinin saklanması için uygundur.
  • SQL desteği yok.
  • Tüm işlemler Java’da Map Reduce’e benzer şekilde gerçekleşir.
  • HBase sistemi bir grup tablodan oluşur ve tablolara erişmek için bu tablolarda birincil anahtar kullanılır.
Sqoop
  • Komut satırı arayüzüne sahiptir.
  • Yapısal verinin Hadoop’a import/export ‘u için kullanılır.
  • İlişkisel veri tabanında saklı verilerin ETL işlemleri için Hadoop kümesine aktarılıp orada işlenir ve sonuç döndürülür.
  • ETL: Şirketlerin farklı yerlerden veya farklı veritabanlarından bilgileri alması, temizlenip belli bir formata dönüştürülmesi ve veri madenciliği yapılacak veri tabanına yüklenmesidir.
Ambari

Hadoop kümelerini yönetmek ve HDFS,Map Reduce, Hive, HCatalog, Hbase, ZooKeeper, Pig ve Sqoop için destek sağlayan web arayüzü.

 

Tarih:Yazılım/Teknoloji

İlk Yorumu Siz Yapın

    Bir cevap yazın

    E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir