Her şey şu anki zaman içinde oluyor, bunu hemen bilmenin ve gerekli reaksiyonu verebilmenin getireceği fayda günümüzde teknolojide, yapay zekada varmak istediğimiz son noktayı ifade ediyor.
Gerçek Zamanlı Veri Analitiği / “An”ın Analitiği
“Ne kadar söz varsa düne ait Dünle beraber gitti cancağzım, Şimdi yeni şeyler söylemek lazım…” Mevlana Celaleddini Rumi
Mevlana tarafından 13.yüzyılda yazılan bu şiir ve sözcükler, bize bugünün, içinde bulunduğumuz “An”ın önemini anlatıyor.
Mevlana’dan çok daha önce M.Ö. 1. Yüzyılda yaşamış Romalı şair Horatius’a ait “Carpe Diem” – “Anı Yaşa” şiirinde binlerce yıl önceden içinde yaşadığımız anın, zamanın farkında olmamızı, anın değerini bilmemizi vurguluyor.
Her şey şu anki zaman içinde oluyor, bunu hemen bilmenin ve gerekli reaksiyonu verebilmenin getireceği fayda günümüzde teknolojide, yapay zekada varmak istediğimiz son noktayı ifade ediyor. İçinde bulunduğumuz iş kollarında
Müşterilerin dijital kanallardaki ayak izleri Sistem, uygulama logları Akıllı ev, şehir, araçlar Siber güvenlik sistem logları Akıllı fabrika verileri,
anlık olarak veri üreten, anlığa yakın aksiyon alınmasının büyük değer ifade ettiği bazı alanlara örnekler.
Bu anlık verilerin üretilmesi, alınması, işlenmesi, anlamlandırılması, aksiyonlara dönüşmesi anlığa yakın derecede hızlı olmak zorunda. Geç reaksiyon durumunda müşterilerimiz mutsuz olabilir, sistemler kapanabilir, şehirde yaşam güçleşebilir, bilinmeyen yeni ataklar gelebilir, fabrika duruş ve kalite problemi yaşanabilir.
Tüm bu büyük veri analitiği sürecine “Gerçek zamanlı veri analitiği (real-time streaming analytics)” diyoruz.
Bu akışta kullandığımız analitik platformlar, mimari yapı, anlık aksiyon üretilmesi konularına yazının ilerleyen bölümünde detaylı olarak gireceğiz.
Gerçek Zamanlı Akan Veri Analitiği
Veri analitiği çözümleri günümüz dünyasının hızına ayak uydurabilmek amacı ile artık veriden değer üretmek için geçen ∆t zamanı kayıp olarak görüp ∆t yi sıfıra yakınsatmaya çalışmaktadır. Ve her geçen gün bu hedefe bir adım daha yaklaşmaktadır.
Peki veri nasıl işlenmelidir?
Bu tür sistemler kabaca 4 katmandan oluşmaktadır.
Veriyi;
- Üreten
- Taşıyan
- İşleyen
- Sonucu aksiyona dönüştüren
Kısaca bu katmanlara bakalım
1.Üretim: Veriyi en yoğun üreten kaynaklar günümüzde ve yaklaşık yüz yıldır pek değişmedi :Makineler. Otomasyon çağına girilmesiyle- ki bu 1900 ler in başında başladığını kabul edersek - makineler veri üretmeye başladı. Yıllar ilerledikçe makinelerin yanına sanal makineler- yazılımlar da eklenmeye başladı. Ancak 90 lı yıllara kadar geçen dönemde ağırlıklı olarak sistem verileri raporlama, hata analizi ve üretim planlama amaçlı yerel olarak değerlendirilmekteydi. “Connected” kavramının hayatımıza girmesi ile birlikte artık bu tür verileri üreten kaynakların sayısının hızla artmasının yanında erişilebilirliği de artık mümkün olmaya başladı ve böylece oluşan bu anlık verinin toplanıp birlikte değerlendirilmesi gibi bir ihtiyacımız oluştu.
2.Taşıma : Kaynağında üreyen veriyi toplayıp bir noktaya taşımak aslında yeni bir ihtiyaç olmamakla birlikte var olan çözümler günümüz dünyasına ayak uydurabilme konusunda yeterince etkili olamadı. Bu nedenle hızla bu boşluğu doldurma amaçlı yazılımlar geliştirilmeye başlandı. Verinin miktarına ve hızına bağlı olarak kolay genişletilebilir yapılar bu süreçte öne çıkmaya başladı. Böylece coğrafi olarak çok geniş bir alana yayılmış kaynaklarda üretilen veriler hızla, güvenle ve nispeten düşük maliyetle ve sürdürülebilir yapılar sayesinde belli bir noktaya taşınabilmeye başlandı.
3.İşleme : Sadece basit kurallara bağlı karar mekanizmalarının yanında akıllı ya da öğrenebilen algoritmaların da yer almaya başlaması ancak hesaplama ve veri işleme kabiliyetinin gelişen teknoloji ve çözüm yöntemlerinin bize sunduğu imkanlar sayesinde mümkün oldu. Veriyi işleme adımı önceki yıllarda sadece birikmiş bir veri üzerinde ya da basit kurallar çerçevesinde ve kısıtlı hızlarda veri üzerinde yapılabilir iken bugün sahip olduğumuz imkanlar ile artık gelişmiş matematik modeller ve karmaşık kuralları çok daha hızlı ve çok daha büyük miktarda veri üzerinde uygulayıp sonuç üretebiliyoruz. Bunu da veriyi kaynaktan alıp getiren uygulamalar ve sistemlere entegre yüksek kapasiteli veri işleme kapasitesine sahip platformlar üzerinde uygulama geliştirerek yapıyoruz.
4.Sonuç olarak işlenen verilerin çıktıları görsel platformlarda raporlama amaçlı sunulmanın yanı sıra hem bazı aksiyonları otomatik olarak alabilmekte hem de sisteme tekrar geri beslenerek süreci daha sağlıklı bir yöne evirebilmekte ve böylece sürekli gelişen yapılara dönüşmektedir.
Veriden değer üretmenin sınırı vizyonumuza bağlıdır …
“An”ın Analitiği - Ayhan Demirci