| dc.contributor.advisor | Erdem, Mehmet Erkut | |
| dc.contributor.author | Erdoğan, Göksu | |
| dc.date.accessioned | 2018-12-26T10:48:45Z | |
| dc.date.available | 2018-12-26T10:48:45Z | |
| dc.date.issued | 2018 | |
| dc.date.submitted | 2018-06-25 | |
| dc.identifier.uri | http://hdl.handle.net/11655/5574 | |
| dc.description.abstract | Visual summarization is an inherently complex process as its definition has some subjectivity in itself that there is nothing like a single perfect summary. In general, a good summary consists of two main properties which are (i) coverage
and (ii) diversity. A good summary should have a high coverage, i.e it should consist of the key events and
the concepts for a given set. At the same time, a good summary should
also be diverse, i.e it should not consist of similar events and
concepts. In addition to these two main properties, intrinsic image
properties such as their aesthetics, their popularity, their sentiment, etc. are assumed to be important especially for the social media applications. In this thesis, we propose an automatic summarization method which
considers intrinsic properties of images in addition to coverage
and diversity for personal image collection summarization. To evaluate the proposed method, we collected two benchmark datasets where the ground truth summaries are obtained via crowdsourcing. Our experimental analysis reveals that taking intrinsic properties into account
improves the summarization performances. | tr_TR |
| dc.description.sponsorship | TÜBİTAK 113E497 | tr_TR |
| dc.description.tableofcontents | 1. Introduction 2. Background 3. Related Work 4. Our Approach 5. Experimental Analysis 6. Conclusion | tr_TR |
| dc.language.iso | en | tr_TR |
| dc.publisher | Fen Bilimleri Enstitüsü | tr_TR |
| dc.rights | info:eu-repo/semantics/openAccess | tr_TR |
| dc.subject | image collection summarization | tr_TR |
| dc.subject | intrinsic properties | tr_TR |
| dc.title | Image Collection Summarization With Intrinsic Properties | tr_TR |
| dc.type | info:eu-repo/semantics/masterThesis | tr_TR |
| dc.description.ozet | Günümüzde yaşanan teknolojik gelişmeler, akıllı telefonlar ile onlara bağlı olarak sosyal medya uygulamalarını hayatımızın vazgeçilmez bir parçası haline getirmiştir. Sosyal medya uygulamalarının özendirici rolü görüntü verisinin her geçen gün büyük bir hızla artmasına sebep olmaktadır. Görsel veri boyutundaki bu hızlı artış hem büyük hacimli veriyle baş etmek hem de bu veriden faydalanmak açısından zorluk yaratmaktadır. Görsel özetleme yöntemleriyle büyük hacimli veriler temsiliyet kapasitesi yüksek özetlerle ifade edilebilmekte ve hızla artmakta olan verinin sebep olduğu zorluklar aşılabilmektedir.
Görsel özetleme problemleri doğası gereği karmaşıktır. Zira özetin tanımı bir miktar belirsizlik taşımaktadır ve tek bir doğrudan söz edilemez. İyi bir özet, genellikle şu iki temel özelliğe bağlı olarak belirlenir: (i) kapsam ve (ii) çeşitlilik. Bir özetin iyi olması için kapsamının geniş olması gerekir. Başka bir deyişle, özet verilen kümedeki kilit olayları ve kavramları içermelidir. Aynı zamanda iyi bir özetin çeşitliliğinin de iyi olması gerekir yani aynı veya benzer olay ve kavramlar özette tekrarlanmamalıdır.
Çalışmamızda kişisel görüntü kümelerini otomatik özetleme işlemi için, bir özetin sahip olması gereken iki temel özelliği, kapsam ve çeşitlilik, şu yöntemlerle sağlanmıştır:
Determinantsal nokta süreçleri (ing. determinantal point processes)
Çeşitlilik sıralama (ing. diversity ranking)
Farklılık tabanlı seyrek alt küme seçimi (ing. dissimilarity based sparse subset selection)
Atlamalı yinelemeli nöral ağ (ing. skipping recurrent neural network)
Sosyal medya uygulamalarının yaygınlaşması ile kapsam ve çeşitliliğe ek olarak görüntülerin kalite, duygu uyandırma, popülerlik gibi içsel özellikleri de önem kazanmıştır. Buna bağlı olarak literatürde görüntülerden farklı içsel özellikler çıkarmaya dayanan yöntemler sıkça çalışılmaya başlamıştır. Çalışmamızda yüksek kaliteli özetler çıkarmak için faydalanılan içsel özellikler şunlardır:
Görüntünün insanlarda uyandırdığı duygular
Hafızada kalıcılık
Estetik
Manzaralılık
Özetleme problemlerinin bir diğer zorluğu özetin başarısının nicel olarak ölçülmesinin güç oluşudur. Bu problemin tek bir doğru çözümü olmadığı için uzman biri tarafından çıkarılacak bir özetin dayanak alınarak değerlendirme için kullanılması uygun değildir. Ayrıca özetleme problemi kişisel tercihlere dayandığı için yalnızca bir kişinin özetine göre değerlendirilmesi de doğru bir yaklaşım olmamaktadır. Güvenilir bir değerlendirme için birçok farklı kişiden toplanmış özetlere ihtiyaç duyulmaktadır. Ancak bu özetlerin arasındaki tutarlılıktan faydalanılarak başarılı bir değerlendirme yapmak söz konusudur. Kişisel görüntü kümelerini özetlemek için hali hazırda herkesin erişimine açık ve dayanak özetleri toplanmış bir veri kümesi bulunmadığı için kendi veri kümelerimizi toplamaya yöneldik.
EventSum ve CitySum adlarını verdiğimiz veri kümelerimiz Flickr'dan çekilen görüntü kümelerinden oluşmaktadır. Bu görüntüler İngilizce sorgular kullanılarak getirilmiştir. Her biri 100 görüntüden oluşan toplamda 19 ayrı görüntü kümesi toplanmıştır. Bu görüntü kümelerini özetleme probleminde dayanak olarak kullanılacak insan özetleri, özetleme problemine özel geliştirdiğimiz kendi web uygulamamız aracılığıyla toplanmıştır. Kullanıcılardan gördükleri görüntü kümesini en iyi temsil eden 10 görüntüyü seçmeleri istenmiştir. Kullanıcılara görüntüler zaman etiketlerine göre sıralı bir şekilde gösterilmiştir. Ayrıca iyi bir özetin iki temel özelliği olan kapsam ve çeşitlilik birer cümleyle tanımlanarak kullanıcı bilgilendirilmiştir.
Kısaca, çalışmamızda kişisel görüntü kümelerini otomatik özetleme işlemi için, bir özetin sahip olması gereken iki temel özelliğin yanısıra görüntünün içsel özelliklerini de hesaba katan bir yöntem önerilmiştir. Geliştirilen bu yöntem çeşitli kişisel görüntü kümelerinin kitle kaynaklı toplanan özetleri ile kıyaslanmış ve içsel özelliklerin dikkate alınmasının elde edilen özetleri iyileştirdiği gözlemlenmiştir.
Bu çalışmada bilgisayarlı görü literatürüne yaptığımız katkılar şu şekilde özetlenebilir:
Kişisel görüntü kümesi özetleme problemi için kullanıma açık etiketli bir veri kümesi bulunmadığından, veri kümesi toplama yoluna gidilmiştir. Veri kümesindeki her kişisel görüntü kümesi için, dayanak olarak kullanmak üzere kitle kaynaklı (ing. crowdsourcing) olarak kullanıcılardan özetler toplanmıştır.
Kişisel görüntü kümesi özetlerken görüntünün içeriğinin yanısıra görüntünün içsel özelliklerinin kullanılmasının çıkarılan özetlerin başarısına etkisi gösterilmiştir.
Görüntü kümesi özetleme probleminde insan davranışı analiz edilmiştir.
Kullanılan yöntemlerin, özniteliklerden bağımsız olduğu gösterilmiştir.
Çıkarılan özetlerin başarısının, farklı değerlendirme yöntemleri karşısında tutarlı olduğu gösterilmiştir. | tr_TR |
| dc.contributor.department | Bilgisayar Mühendisliği | tr_TR |
