İçeriğe geç

Etiket: pig

Big Data – #DersNotlarım2

Hadoop Ek Bileşenleri

SPARK
  • Veriyi in-memory olarak (RAM’de) işlediği için hızlı çalışır.
  • MapReduce dağıtık işleme modelini kullanmaz.
  • Hadoop’dan bağımsız çalışabilse de çoğunlukla hadoop ekosisteminden ayrı kullanılır.
  • SQL desteği sağlar.
  • Python, Scala ve R dillerini destekler.
  • Sürekli veri işleme, dağıtık makine öğrenmesi algoritmaları ve grafik veri işleme desteği sunar.
  • Hadoop ve Hadoop tabanlı olmayan cluster üzerinde de çalışabilir.
HIVE
  • HQL olarak bilinen SQL benzeri bir dil ile Hadoop’a verilere erişim, verileri sorgulama işlevlerini sağlar.
  • Facebook tarafından geliştirilmiş, daha sonrasında Apache’ye devredilmiş açık kaynaklı bir projedir.
Yorum Bırak