İçeriğe geç

Big Data – #DersNotlarım1

Big Data Nedir?

Big Data; hem boyut, hem veri çeşitliliği, hem şema bağımsızlığı hem de kestirilebilir bir zaman dilimi anlamındaki klasik İlişkisel Veri Tabanı Yönetim Sistemler ile elde edilemeyen ile alınamayan veriyi temsil eder.

Peki Big Data’yı hangi firmalar kullanıyor?

Facebook, AOL, IBM ve Yahoo gibi birçok firma big data uğraşmaktadır.

Hadoop Nedir?

Hadoop , büyük veri kümeleri ile birden fazla makinada paralel olarak işlem yapmamızı sağlayan Java ile yazılmış açık kaynak kodlu kütüphanedir.

  • Açık kaynak kodlu Apache projesidir.
  • Java dilinde yazılmıştır.
  • Ölçeklenebilir (tek bilgisayarda verilerin işlenmesi-yönetilmesi
    mantığından, işin/verinin boyutuna göre CPU’nun, hafızanın arttırıp azaltılması,
    verinin dağıtık saklanması mantığına dönüşüm vs) yapıdadır.
  • Çok büyük miktarda veriler, çok sayıda node adı verilen bilgisayarlarda saklanır.
  • Dağıtık sistemlerin bir problemi olan node’ların bozulması, nodelardaki verilerin bozulması sorunu, verilerin yedeklenmesi ve sorunlu node’un yerine yenisinin konması işlemlerini otomatik olarak ele alır.

Hadoop açık kaynak kodlu bir sistem olsa da, Cloudera, MapR, Hortonworks gibi firmalar tarafından ticarileşmiştir. Ancak bu noktada en temel Hadoop bileşenleri  HDFS, Map-Reduce ve YARN araçlarıdır.

Hadoop ‘ un Avantajları ve Dezavantajları

Avantajları:

  • Verini çok küçük bir bölümünü analiz etmek yerine eldeki verinin tümünü kullanarak daha verimli sonuçlar elde eder.
  • Özel tasarlanmış makinelere ihtiyaç duymadığı için standart makinelerle çalışarak maliyeti düşürür.
  • IoT tabanlı sistemlere uyumluluk gösterir.

Dezavantajları:

  • Veriyi kopyalayarak yedeklediği için ihtiyaç duyulan veri saklama alanını artırır.
  • SQL kullanıcılarının alışık olduğu bazı SQL fonksiyonlarına sahip olmaması.
  • Veriyi şifreleyerek saklamadığı için güvenlik anlamında yeterli değildir.
  • Temel bileşenleri yeterli değildir.




Ek Hadoop Bileşenleri

SPARK

HİVE

PIG

HBase
Sqoop

Ambari

Flume

Kafka Mahout

TEZ

(Ek Hadoop Bileşenlerini ve temel Hadoop bileşenlerini bir sonraki yazımda detaylandıracağım.)  🙂

Okuduğunuz için teşekkürler.

 



Tarih:Yazılım/Teknoloji

İlk Yorumu Siz Yapın

    Bir cevap yazın

    E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir