Veri Bilimi ve Uzmanlığı Eğitimi

Selamlar,

28 Şubat 2017 Salı günü Türkiye Bilişim Derneği Ankara Şubesinde "Veri Bilimi ve Uzmanlığı" eğitimini verdim. Eğitim içeriği olarak veri bilimi ve bu bilimi oluşturan temel teknolojileri ve veri uzmanlığı ile bu iki kavramın geleceğini anlattım.

Katılanlara teşekkür ederim.

Makinelerarası İletişim, Büyük Veri ve Bulut Bilişim

Selamlar,

Bir süredir işlerimin yoğunluğundan kişisel günlüğümü ihmal ettiğimi düşünerek ve mevcut teknolojik gelişmeler doğrultusunda bir yazı yazmak istedim. Bu yazımda size şu sıralar çok duyduğunuz ama henüz ne olduğunu tam olarak keşfetme şansınızın olmadığı ve/veya eksik olduğu konuları yazmaya çalışacağım. İleride bu konularla ilgili Türkçe kaynak oluşturmaya ve güncel gelişmeleri aktarmaya devam edeceğim.

Her şeyden önce olayların başladığı yıllara dönelim. 1970'li yıllardan beri aynı veritabanı teknolojisini kullanıyoruz, yani ilişkisel modelde tasarlanmış ilişkisel veritabanları. Peki ilişkisel veritabanı ne demek? İlk önce bu soruya yanıt almanız lazım ki sonraki yazacaklarım hakkında aklınızda bir fikirler bütünü oluşabilsin. İlişkisel veritabanı; işletim sistemindeki fiziksel veri blokları içinde saklanan ama veritabanında mantıksal tablolar içinde tutulan veriler üzerine kurulmuş, mantıksal bir ilişki topluluğudur. Bir örnek; elimizde iki tane tablo olsun, birisi satış, diğeri müşteriler. Yapılan her satış, satış tablosuna girilmekte ve müşteriler tablosundaki ilişki vasıtasıyla, müşteri bilgileri de bu satış bilgilerinin içerisine kaydedilmektedir. Her yapılan satış, satış tablosuna kaydedilmekte ancak sadece yeni müşteri geldiği zaman müşterilerin olduğu tabloya veri girişi yapılmaktadır. Bu sistem, doğal olarak veritabanı yazılımını ilişkisel hale getirmektedir.

İlişkisel veritabanının farklı saklama yöntemleri bulunmaktadır. Bunlar hem sistemsel olabileceği gibi yazılımsal olarak da farklılaşmaktadır. Sistemsel olarak disk bazlı ve bellekiçi olarak ayırabileceğimiz gibi, yazılımsal olarak sütun ve satır bazlı olarak ayırmak mümkündür. Bu yazılımlar ilk yazılmaya başlandığında disk tabanlı ve satır bazlı veri saklama üzerine yoğunlaşılmıştı. Ancak zaman içerisinde, teknolojinin ilerlemesi ve beklentilerin artmasıyla birlikte bu işleyişte ciddi değişiklikler meydana geldi. İşlemci hızlarının artması, disk okuma hızlarının da paralel olarak yükseliyor olması ne yazık ki beklentileri karşılamakta yeterli olmadı. Bunun üzerine verinin daha yavaş olan disklerde değil, bellekte ve daha hızlı analitik sorgulama yapabilmek için satır bazlı değil, sütun bazlı olarak saklanması ortaya çıkmış oldu. Bu arada satır ve sütun bazlı veri saklama yöntemi şudur; bir tabloda isim, soyisim ve tc no olduğunu düşünün. Satır bazlı veri saklama modelinde;

isim, soyisim, tc_no 

isim, soyisim, tc_no

isim, soyisim, tc_no

isim, soyisim, tc_no

şeklinde veri saklanırken, sütun bazlı saklama modelinde:

isim, isim, isim, isim

soyisim, soyisim, soyisim, soyisim

tc_no, tc_no, tc_no, tc_no, 

şeklinde saklanmaktadır. Bu durum farklı veri sorgulama teknikleri kullanılarak, gelen talepler doğrultusunda değerlendirilmekte ve modellemeler ona göre yapılmaktadır.

İşin kısa teknik anlatımı ve geçmişi esasında bu şekildedir. Şimdi biraz günümüzde neler olduğuna bakalım ve sonrasında bizi bekleyenleri, biraz daha teknik olmayan bir dille aktarmaya çalışalım.

Veri, bugün daha önce hiç olmadığı kadar kıymetli. Zaman, bugün daha önce hiç olmadığından da daha fazla kıymetli. Dolayısıyla insanoğlunun bu isteklerini teknoloji dilinde karşılamak için çabalamaktayız. Günün en anlamlı amacı şu; veriyi daha iyi anlamak ve bunu çok kısa sürede işlemek ve anlamlandırmak. Aynı zamanda bütün bunları en ekonomik ortamda gerçekleştirmek ve toplam sahip olma maliyetlerini düşürebilmek. İsteneni anladığınızı düşünüyorum, aslında bir nevi atomu parçalamak gibi. Bugün, bu istekleri karşılamak için elimizde kullanabileceğimiz farklı teknolojiler ve yazılımlar mevcut.

Önceden kullandığımız ve hatta hala sıklıkla kullandığımız ve çok güvendiğimiz veritabanı yazılımlarını bugün ve yarın da kullanmaya devam edeceğiz. Bu yazılımların bugünkü şekli değişmiş durumda sadece. Daha yavaş olan disklerden, bellek içerisinde veri saklama modeli ile oluşturulmuş yeni nesil veritabanı yazılımları ve/veya çözümlerine doğru bir ilerleyiş söz konusu. Peki şimdi asıl soruyu sorma zamanı geldi? "Tam olarak ne oldu da 1970'lerden beri kullandığımız bu yazılımlar yetersiz kalmaya başladı?" Cevap veriyorum; veri üretiminde patlama...

Veri üretimine ilişkin en çarpıcı bilgi bence şöyle; son iki yılda, tarihte ürettiğimiz verinin %90'ını ürettik. Düşünebiliyor musunuz boyutları? Şu an herkes ve her şey (makineler dahil) veri üretip, ürettikleri bu verileri başka bir yere ya da diğer makinelere aktarabiliyor. Hızlı, hacimli ve çeşitli büyümekte olan verileri, eski moda kalmış ilişkisel veritabanları ile yönetmek her zamankinden daha zorlaştı. Bu noktada devreye belki de bu sıralar sıklıkla işittiğiniz bir kavram girdi; Büyük Veri. Nedir bu büyük veri? Nasıl kullanılır ve daha önemlisi şimdi kullandığımız ilişkisel veritabanlarının yerini alabilecek mi? Peşinen belirtmem gerekiyor ki büyük veriye ait herhangi bir teknolojinin uzun vadede ilişkisel veritabanı sistemlerinin yerini alabileceğini düşünmüyoruz. Bunun sebebi ise yukarıda kısaca mimarisini anlattığım ilişkisel modelin henüz büyük veri teknolojilerinde tam olarak yer almıyor olmasıdır. Büyük veride NoSQL adını verdiğimiz ilişkisel olmayan tipte ve anahtar-değer yapısı ve benzeri yapılarda veri saklayan veritabanları kullanılmaktadır. Bu veritabanları ve diğer büyük veri yazılımları veriyi daha hızlı, daha hacimli ve daha çeşitli depolayabilecek şekilde tasarlanmıştır. Dolayısıyla bugün olmasını beklediğimiz yapıda ilişkisel veritabanları ve büyük veri teknolojileri bir arada kullanılmalıdır. Bu yazılımların ve teknolojilerin kullanım yoğunluğu istenen projeye ve yapılması hedeflenen işe göre değişebilir.

Büyük veri teknolojisinin yazılım dilinde kullanımı ve tercümesi Hadoop'tur. Hadoop bir yazılım araçları bütününe verilen isimdir. Dünya'da Hadoop dağıtıcıları ve üreticileri yer almaktadır ve tamamen açık kaynak kodlu olan bu yazılım araçları, Java ile geliştirilmektedir ve ciddi büyüklüğe ulaşmış toplulukları bulunmaktadır. Türkiye'de Hadoop kullanımı genişlemektedir. Hadoop ile birlikte (yani büyük veriyi) ilişkisel veritabanını kullanan ve genel olarak adlandırdığımız Büyük Veri Analitiğini yapan kurumlar mevcuttur. Büyük veri ile ilgili daha önce detaylı bir yazı yazmıştım, ulaşabilmek için tıklayınız.

Büyük verinin içerisindeki bir diğer alt kavram veri keşfidir. Çok fazla kaynaktan aldığınız, çok çeşitli veriyi anlamlı hale getirmeden önce keşfetmeniz gerekmektedir. Örneğin, birkaç tane sosyal medya unsuru üzerinden veri alıyorsunuz. Günün sonunda elinizde hangi tipte, ne kadar veri olduğunu, hangi hashtag'lerin kullanıldığını bilebilmeniz mümkün değil. Önce bunları bir yerde keşfetmeniz ve ayrıştırmanız gerekmektedir.

Şimdi, elimizde ilişkisel veritabanının yapısı, bellekiçi mimaride tasarlanmış, gerçek zamanlı veritabanı yazılımı, Hadoop teknolojileri ve çok hızlı işlemciler ve ağ unsurları mevcutken, bunlarla neler yapabiliriz? Bu sorunun cevabı çok basit, hayal gücünüzle sınırlı. Mevcut yapısal değişimler ve üretilen yazılımlar ve donanımlar artık bize sınırının sizin hayal gücünüz olduğu bir yapı sunmakta. Yapılması gereken adımlar, şirket stratejisine uygun bir amaç üretmek, amaca uygun bir proje geliştirmek ve teknik açıdan nasıl yapılabileceğini iyi analiz etmek. Daha sonra bu teknolojileri birleştirdiğiniz zaman size gerçek zamanlı büyük veri analitiği sağlanmış olmaktadır.

Bugünün diğer konulardan birisi veri analizi ve veri madenciliğidir. Veri, bugün olmasa bile yarın hayatımızı yönetecektir, dolayısıyla veri üretim kaynakları artmaktadır. Veri üretim kaynaklarının artmasına bağlı olarak üretilen veriden bir değer çıkartılması beklenmektedir. İşte burada devreye bu iki kavram girmekte ve bu kavramların çıktısının sunum (raporlama) katmanına aktarılması ile birlikte de iş zekası ürünlerinin kullanımları gündeme gelmektedir. Veriyi üret, analiz et, raporla. Basit bir örnek, veriyi üreten akıllı bir sensörden, Genel Müdür'ün masasındaki tablet bilgisayara kadar veri akışı bugün mümkün. 

Verinin çeşitli üretim kaynakları bulunmaktadır. Kurumsal yazılımlar ve veri girişine izin veren diğer bütün uygulamalar veri üretmekte, bunlara ek olarak internet ve sosyal medya üzerinden de ciddi veri üretimleri mevcuttur. Bu kaynakların dışında kullanılabilen bir diğer kaynak makineler, telekomünikasyon cihazları ve diğer tüm akıllı sensörlerdir. Bu cihazlar genelde yapısal olmayan veri tipinde veri üretmektedir ve bugün kullandığımız ilişkisel veritabanı modeline uygun değillerdir. Genelde bu uygun olmayan ve yapısal olmayan veri tiplerini önce yapısal olan veri tiplerine dönüştürüyoruz, daha sonra ilişkisel veritabanlarına yüklüyoruz çünkü ilişkisel veritabanları yapısal olan veriler üzerinde sorgulama ve analiz yeteneğine sahiptirler. Bu arada yapısal ve yapısal olmayan veri arasındaki fark çok basittir, yapısal veriler satır ve sütun düzenine uygun verilerdir. Yapısal olmayan tipte veriler ise paylaştığınız görüntüler, cihazlardan gelen binary tipinde dosyalar, attığınız tweet'ler vb. Yapısal olmayan veriye diğer bir örnek kolunuza taktığınız akıllı saatlerin ürettiği tipte veriler ve günlük dosyalarıdır. Yapısal olmayan veriyi saklama ve işleme yeteneğine Hadoop da sahiptir. Dolayısıyla bir sisteme önce yapısal olmayan veri giriyorsa ve ardından yapısal olan veriye dönüştürülüyor ve bu veriler üzerinde analizleri, raporlamalar ve sorgulamalar yapılıyorsa bu sistemde şunların varlığından söz edebiliriz, büyük veri, ilişkisel veritabanı sistemleri, iş zekası ürünleri, veri madenciliği ve istatistik araçları.

Günümüzde ve sonrasında makineler kendi arasında, intranet ya da internet üzerinden birbirleri ile konuşabilmekte ve ürettikleri verileri bir merkeze, örneğin bir bulut bilişim sistemine  (merkezi veri merkezi yapıları) aktarabilmektedir. Bu tekniğin ismine makinelerarası iletişim denmektedir. Makineler bir sistem ile ve/veya kendi arasında iletişimde kalarak veri üretimi ve paylaşımları yapabilmektedir. Makinelerin, sensörlerin, cihazların ve yazılımların internet üzerinden birbirleri ve bulut bilişim veri merkezleri ile konuşabilmesine ise Internet of Things adını verebiliriz. 

İlişkisel veritabanı, büyük veri, makinelerarası iletişim, IoT, veri analizi ve veri madenciliği gibi kavramlardan önce hayatımızda olan ve neredeyse 1950'lere kökü dayanan bir başka kavram, bulut bilişim. Bulut bilişimle ilgili pek çok şey yazıldı, çizildi ama hala görüyorum ki insanların aklında tam oturmamış bir kavram olarak kalmış. Merkezileştirmenin yeniden alevlendiği, birçok sistemin ortak olarak tek çatı altında yönetilmek istendiği bu yıllarda bulut bilişim, eski günlerinden daha kuvvetli ve yenilikçi çözümlerle yeniden aramızda bulunmaktadır. Yerkürede çok sayıda şirket bulut bilişime uygun yazılımlar üretmekte, veritabanları bulut bilişime uygun güncellenmekte ve yeniden yorumlanmakta ve küresel, çok uluslu şirketler de stratejik adımlarını bu yönde atmaktadır. Bulut bilişimde en önemli olay istenen sitemleri hızlı provizyonlamak ve müşterinin isteğine sunabilmektedir. Müşteriler bulut bilişim veri merkezlerinde istedikleri hizmetleri üyelikler yaparak satın alabilmekte ve böylece bütün bir veri merkezinin fiziki maliyetlerine katlanmak durumunda kalmamaktadırlar. Buna ek olarak herkesin aklında güvenlikle ilgili soru işaretleri bulunmaktadır. Güvenlik takıntısı ile ilgili soruyu burada şu bağlantıyı refere ederek gidermek istiyorum, lütfen inceleyiniz: SAP Data Center. 

Bulut bilişim, kaynakların bir yerden yönetilmesi ve servis edilmesidir. Bulut bilişimde çeşitli hizmetler ve servisler mevcuttur. Donanım ortamını, yazılımlarınızı, orta katman uygulamalarınızı, mobil geliştirme platformunuzu vb. tüm mevcut ihtiyaçlarınızı servis olarak alabilirsiniz veya sahip olduğunuzu yazılım lisanslarını bu bulut bilişim alanında kullanabilirsiniz.

Size hayatınızı kökten değiştirebilecek bir örnek vermek istiyorum ve bu örnekle, bu zamana kadar yazdıklarımın nasıl kullanılabildiğini anlamış olacaksınız. Bugün, bir ülkedeki insanların sağlıklarını uzaktan takip etmek ve proaktif sağlık önlemleri alarak olacaklardan korumak bilişim teknolojileri ile mümkün. İnsanların evlerinde bulunacak akıllı sensörler sayesinde, insanlara ait sağlık verileri anlık olarak merkezi sistemlere aktarabilir ve gerekli analizler yapılarak insanların sağlıklarının uzaktan takip edilmesi sağlanabilir. Buna ek olarak yapılacak daha hızlı gen araştırmaları ile ilgili kişinin birkaç nesil önce sahip olduğu kanser geni bulunabilir, kişi hasta olmadan önce takibe alınır ve önlemleri alınabilir. Bu kişiler yine mevcut teknolojiler kullanılarak uzaktan takip edilebilir veya günü geldiği zaman hastanelere davet edilebilir. Bu şekilde kimse hasta olmayı beklemez ve zamanında, doğru tedaviye erişmiş olabilir. Bir ailede genetik bir rahatsızlık varsa, kanser gibi, çocuklarında da görülme insidansı yükselmektedir fakat günümüzde bu kişileri korumaya yönelik bir yöntem olmadığı için kişi, sadece hasta olduğu zaman fark edilebilmektedir. Günümüzde birçok firma yeni nesil teknolojileri kullanarak kanser araştırmalarında 3 milyardan fazla gen zinciri olan taramaları 4-5 günlerden 2-3 saatlere kadar indirmiştir ve araştırmalarda ciddi hızlanmalar gözlenmiştir.

Büyük veri ve veri analitiğine bir diğer güzel örnek spor alanından. Futbol ve amerikan futbol takımları ve tenisçiler bugün büyük veri, bulut bilişim ve bellekiçi veritabanı teknolojilerinin bir arada olduğu yeni nesil yazılımları kullanmakta ve kendilerine yeni yollar keşfetmektedir. Futbol takımları daha hızlı pas yapabilmekte, gole daha hızlı gidebilmekte ve başarının yolunu sayısallaştırabilmektedir. Başka farklı örnekler verebilmek mümkündür. Ormanlara konulacak ısı sensörlerinin anlık takibi ile radikal ısı artışları görüntülenebilir ve olası orman yangınları önceden bilinebilir. Böylece hektarlarca orman kül olmadan önce müdahale edilebilir. Sosyal medya analizi de yine büyük veri örnekleri arasında yer almaktadır. Farklı sistemlerden, ortak bir sisteme akacak yapısal olmayan bütün verilerin gerçek zamanlı analiz edilmesi ve müşterilere kişiye özel pazarlama yapılabilmesi mümkün olabilmektedir. Bu yıl ve sonrasında üretilen araçların bir bulut sistemine bağlı olarak anlık veri transfer etmesi ve yine bu bulut sisteminden veri alabilmesi bugün mümkün. Bunun en büyük örneğini SAP ve BMW hazırlamaktadır. Bu ve buna benzer birçok örnek üretebilmek mümkün.

Yazımın başında da söylediğim gibi, elimizde bunca teknolojik imkan varken yapabileceklerimiz sadece hayal gücümüz ile sınırlıdır...

Büyük Veri (Big Data) Nedir?

Büyük Veri (Big Data) Nedir?

Geçtiğimiz 1 yılda birçok seminerde, müşteri ortamında ve teknik toplantılarda büyük veri ve kavramını anlatmaya çalıştım. Büyük veri nedir, büyük veri teknolojilerine hazır mıyız, büyük veri bizim için uygun mudur gibi soruları yanıtlamaya gayret gösterdim. Bu makalede amacım son yılların belkide en çok merak edilen konusu büyük veri, yani nam-ı diğer big data'nın ne olduğunu açıklamaya çalışacağım.

Büyük veri kavramının geçmişi çok eskiye dayanmıyor. Büyük veri, 2004 yılında Google'ın kullanmaya başladığı bir teknoloji. Ardından Youtube, Facebook, Twitter gibi büyük ölçekte verisi olan firmalar da büyük veri kavramına ait teknolojileri kullanmaya başladılar. Peki 2004'den sonra ne oldu da biz bugün, bu büyük firmaların kullandıkları teknolojiyi konuşuyoruz. Cevap basit gibi gözükse de karmaşık; veri miktarları büyüdü. Veri miktarları yalnızca sosyal medyada ya da internet üzerinde büyümedi. Aynı zamanda kurumların sahip oldukları veri miktarları da hem büyüdü hem de çeşitlilik göstermeye başladı. Kamu ve özel sektör sahip oldukları verilerden gelir elde etmeye başladıkça daha farklı verilere sahip olmak istediler. İstedikçe de geleneksel olarak adlandırdığımız ilişkisel veritabanı modelleri ve sistemleri yetersizlik gösterme eğilimine girdi. Bu eğilimin ilerlemesiyle de 2013 yılında büyük veriyi daha fazla konuşmaya başladık. Geleneksel sistemlerle büyük veri arasındaki farkları yazının ilerleyen bölümlerininde açıklıyor olacağım.

Büyük veriyi tanımlamak için kullanılan 4V formülü bulunmaktadır. Çoğu sunumda ve seminerde bu formül üzerinden büyük veri kavramını açıklamaya çalışırım. 4V formülünün 4 tane bileşeni bulunmaktadır. Bunlar;

Volume (Hacim): Şu sorunun yanıtını aramaya çıktığınızı düşünelim; "ben büyük veri müşterisi miyim?" ya da "kurumumda büyük veri kullanılırsa ne olur?". Bu sorunun cevabını adresleyebilmek için 4 V formülünü incelemek gerekiyor. Volume yani hacim bu formülün ilk ve bence en önemli bileşeni. Veri hacmi, büyük veri kullanımı için önemli bir faktördür. Bu hacimler terabyte'lar mertebesinde olabilir veya petabyte'lar. Bu noktada genel bir kural yoktur. İhtiyaçlar, istekler ve yapılması beklenenler çıkartılır, ardından hacim konusu tartışılır. 4V formülündeki hiçbir bileşen tek başına büyük veri teknolojisine geçişi adreslemediği gibi hepsinin bir arada olduğu durumlarda da büyük veri kullanılması şart değildir. Bu tamamen istenenlere ve yapılabileceklere göre değerlendirilir.

Velocity (Sürat): Bir meteoroloji cihazı düşünün ki bir dakikada 1.5 terabyte ya da 1536 gigabyte veri üretebilsin. Bu ölçekte üreyen ve sistemde saklamanız gereken veriniz olsaydı ne yapardınız? Büyük verinin adreslemeye çalıştığı bir diğer V velocity'dir yani sürat. Bu verdiğim örnekte hem hacim hem de sürat yer alıyor. Ölçek örneği bu şekilde olunca haliyle büyük veri teknolojileri tavsiye edebilir. Sürat kavramı da büyük veri kullanımı için önemli bir yer etmektedir.

Variety (Çeşitlilik): Bir diğer V variety, çeşitliliktir. Verinin yüksek hacimlerle, inanılmaz bir hızla ve farklı kaynaklardan sisteme akmaya çalıştığını hayal edin. Bir kabus değil mi? Mevcut geleneksel sistemler için öyle ancak bunu zaten şimdi bile yapan firmalar olduğunu açıklamıştım. Onlar büyük verinin gücünü kullanarak bu işlerini aksamadan halledebiliyorlar.

Value (Değer): Yukarıdaki 3 V formülün tamamını oluşturuyor fakat bir V daha var ki bütün bunların çıktısı olarak duruyor. Value, yani değer, büyük veriyi kullanırken elde edilmezse olmaz bir faktördür. Hacim, sürat ve çeşitliliği bir arada barındırmak için yeni sistemler kurdunuz ve başardınız. Bir şey eksik değil mi? Eksik, o da bunlarla ne yapacağınız ya da yapabileceğiniz. İşte tam bu noktada büyük veri = hayal gücü derim hep. Verilerden yeni değerler, sonuçlar üretmek ve katkı sağlamak büyük verinin kaymağıdır. 

Büyük veriyi bu şekilde tanımladıktan sonra daha detaylara inmek ve geleneksel ortamla büyük veri arasındaki farkı açıklamaya çalışacağım. Geleneksel sistemler ya da ilişkisel veritabanı yönetim sistemleri 1970'lerden günümüze kadar gelmiş ve bundan sonra da aramızda olacak, büyük verinin yerini alamayacak ya da büyük veri ile değiştirilemeyecek sistemlerdir. Büyük veri ortamında ise bildiğimiz bir ilişkiden bahsedemeyiz çünkü ilişkisel bir ortam değildir, ilişkisel olmayan ortamdır. İlişkiselden kastımız birbirleri arasında bir ilişki olan yapılardır. Örneğin benim TC kimlik numaram ile ismim, adresim ve telefonum gibi. Büyük veri ortamlarında bir ilişki yoktur, gerekmez de. Dolayısıyla kavram olarak dahi birbirlerinin yerini alabilecek sistemler değillerdir. Şimdi en kritik soru şu olmalı; ne oldu da mevcut sistem yetmedi, büyük veri ortaya çıktı?. Bu sorunun birkaç cevabı var. İlki ve belki de en önemlisi büyük veri teknolojilerinin tamamen açık kaynak kodlu olmasıdır, yani geliştirilmesi ve dağıtımı serbesttir. Buna karşın dünyadaki en büyük şirketlerin ilişkisel veritabanları lisanslıdır ve ücretlidir. Lisanslı ve ücretli bir üründe bu kadar büyük ölçekte bir veriyi saklamak yerine ilişki aramadığımız ve hala araştırmalar yapabileceğimiz yeni bir ortamda, daha ekonomik olarak saklanmasının faydası olmaz mı? Cevap, evet, olur işte bu yüzden bulut bilişimden sonraen çok konuştuğumuz konu büyük veri.

Büyük verinin belirli veri kaynakları olabilir. Bunlar sosyal medya, internet, web günlükleri, resimler ya da fotoğraflar, görüntüler veya ses kayıtları, mevcut kurum verisi, sensör verileri (telekomünikasyon cihazları vb.) gibi veri kaynakları bulunmaktadır. Bu kaynaklar veriyi çeşitli, hacimli ve süratli yapmaktadır. Günümüzde en güncel konu sosyal medya ve sosyal harita analizleridir. Birçok kurum sosyal medyadan, internetten ve günlüklerden veri çekip, yeni haritalar çıkartıp, yeni yollar keşfetmeye çalışıyor. Mevcut durumumuzda nedenini bilemediğimiz birçok sorunun nedenini, cevabını ve hatta sonrasını tahmin etmek için büyük veri kullanılabilir. 

Büyük veri kavramını daha rahat aklınızda canlandırabilmek için çalıştığım şirketin kullandığı bir örneği aktarmak istiyorum. Balıkçı teknesi ve ağını hayal edin (aşağıdaki gibi);

Neden bir tekne ya da daha doğru soruyu sorarsanız tekne ile büyük verinin ne ilgisi var? Şöyle; tekne denize açıldığı zaman kaptan ağını sulara bırakır ve balık avlar. Buradaki mecaz şudur, teknenin kaptanı sizsiniz ve yakaladığınız balıklarının tamamı yeni topladığınız verileriniz. Denizi ise internet olarak düşünün. Veri sisteminizde yeni ve henüz içinde olduğunu bilmediğiniz birçok veriniz var.

Bu veriler arasında ne olduğunu henüz bilmiyorsunuz. Büyük veride ilişkisel ortam bulunmadığını söylemiştim. Yani burada bir ilişki aramıyoruz ve henüz önemsemiyoruz. Şimdi yapmamız gereken bu balıkları, yani veriyi keşfetmek ve ardından analiz etmek. 

Twitter'dan gelenleri, facebook'tan çektiklerinizi ya da internet günlüklerinden topladığınız makalelerinizi tasniflediniz ve artık elinizde kaç tane, hangi tip balık (veri) olduğunu biliyorsunuz. 

Bir anlığına büyük veri ortamından ayrılalım ve son durumu bu şekilde bırakalım. Şimdi tekrar ilişkisel veritabanı ortamına dönelim. İlişkisel veritabanında mevcut verileriniz yer alıyor, yani şimdiye kadar sahip olduğunuz ve üzerinde veri madenciliği yaptığınız verileriniz. Bu aşamadan sonra amacınız bu verilerle, gemide bekleyen verileri ilişkilendirebilmek ve yeni bir şeyler keşfetmek. Hayal gücünüz burada devreye giriyor. Ben bu gücünüzü geliştirmek için size bir örnek vereceğim. Teknenizde bulunan verileri fabrikalardaki ısı sensörlerinden aldığınızı düşünün. Elinizdeki verilerde ise geçmişte hangi fabrikada, hangi ortamda yangın çıktığını analiz ettiğinizi varsayın. Amacınız nedir bu durumda? Bundan sonra nasıl bir gelişme olursa ya da hangi ihtimalle, başka bir fabrikada, şu nedene bağlı yangın çıkabilir sorusunun cevabını bulabilmek. Yeni keşfettiğiniz verilerle mevcutları ilişkilendirerek yeni bir yol çıkartıp geleceği tahmin etmeye çalışabilirsiniz. İşte büyük veri ortamı ile ilişkisel veritabanı bu ve buna benzeyen örneklerle birleştirilebilir.

Büyük verinin adını 2013'ten sonra önümüzdeki 5-10 yıl içinde çok daha fazla duyacağız. Sağlıktan perakendeye, sivil havacılıktan sigortacılığa kadar birçok sektörde büyük veri teknolojiler ve veri analizleri kullanılacak. Veri analizi yeni bir çağ adı olacak. Veri gönderemeyen hiçbir cihaz kalmayacak, buna kullandığımız arabalar da dahil. Veri gönderen cihazların gönderdikleri veriler analiz edilerek hayatımızı kolaylaştıracak yeni sistemler geliştirilecek ve bu sistemler hayatımıza girerken büyük veri kavramlarıyla aydınlanacak. Bugün kahrolarak izlediğimiz birçok acı gelişmenin sonu veri analizleriyle gelecek ve dahası, ileride oluşmaması için daha keskin tahminler yapabileceğiz. Bir örnek, veri transferi yapan araçlar anlık tüketim ve kullanım biçimlerinizi biriktirerek bu şekilde kullanmaya devam ederseniz kaza yapma oranınızı güncelleyerek sigortacılık sistemine aktaracak. Böylece daha net ve keskin hesaplanmış kasko bedelleri çıkartılabilecek. Bulunduğunuz lokasyon bilgisi ile sürat bilginiz eşleştirilecek, diğer örneklerle karşılaştırılacak ve günün sonunda kaza yapma haritanız çıkarılacak. Bu ve buna benzer örneklerin hayatımızla entegre olması için çok beklememiz gerekmeyecek. En geç 5 yıl içerisinde bu tip uygulamaları son kullanıcı olarak biz, gözlemliyor olacağız. İşte bu sebeplerden dolayı bugün büyük veri ve veri analitiğini konuşuyoruz.

Bu konuyu ne zaman anlatsam Azınlık Raporu filmini izlemiş insanlar aklına "suçu işlenmeden önce bilebilmek gibi mi? sorusu geliyor. Benim cevabım ise "bunu hayal edebiliyorsanız bir gün o da olabilir" demek oluyor. Hiçbirimizin geleceği bilmek gibi bir yetkinliği yok, sadece geleceği tahmin edebiliriz. Bunu da veri çeşitliliği ve geçmişi ile analizleyerek daha keskin hale getirebiliriz. Böyle bir sistem kurulursa ve Türkiye'nin suç haritası yüklenir, yeni veri kaynakları oluşturulur ve bölgelere göre çalışmalar yapılırsa bir gün suçları olmadan önce de öngörebilmek mümkün olabilir. Mevcut teknolojik altyapı bu hayali gerçekleştirmek için yeterli. Tek gereken bunu yapabilecek bir sistem ve çalışma disiplini oluşturabilmek. 

Büyük veri, hayal gücüdür. Sizin önünüzdeki engel elinizde olan ya da olmayan verileriniz değil, bunlarla ne yapmak ve neyi bilmek istediğinizdir. Bunun cevabını bulduğunuz ve hayal gücünüzü geliştirdiğiniz zaman verinin değerini ortaya çıkartmış olacaksınız. Bilginin karşılığı işlenmiş veridir. Verinin değeri ise hayal gücüdür.

İyi çalışmalar.

Ogan