DEV Community: Elif Albakır

Tam metin araması (Full-Text Search) nasıl çalışır?

Elif Albakır — Thu, 30 Jan 2025 12:27:05 +0000

Full-Text Search dokümanlar içinde serbest metin üzerinden arama yapılmasına olanak sağlayan, Web arama motorlarında ve web sayfalarında en çok kullanılan arama metodlarından biridir.

Full-Text Search (tam metin araması) büyük veri blokları arasından herhangi bir kaynaktan alınan metin belgeleri içinden, anahtar kelimenin aratılarak anahtar kelime ile eşleşen dokümanların bulunduğu sonuca hızlı ve daha isabetli bir şekilde erişebilmenizi sağlar.

Tam metin araması şu şekilde çalışır:
İlk önce verileri hızlıca arayabilmek için bir invented index (ters indeks) oluşturulur. Daha sonra bu indeks kullanılarak TF değeri (term frequency, geçiş sıklığı) ve IDF değeri (inverse document frequency, ters belge sıklığı) hesaplanır ve en son bulunan bu iki değer çarpılırak her bir doküman için vektörler oluşturulur ve sorgu cümlesinin vektörü ile arasındaki açı hesaplanır (cosine similarity). Sorgu vektörü ile doküman vektörü arasındaki açı ne kadar küçükse o doküman o kadar ilgili demektir.

TF-IDF değeri tam metin araması dışında belge sınıflandırma, konu modelleme ve stop-word filtreleme olmak üzere çeşitli durumlarda kullanılmaktadır.

Ters indeksleme, dokümanlarınızın içindeki her bir kelime için hangi dokümanlarda o kelimenin olduğu bilgisini tutan bir sistemdir. Ters indeksleme işleminde dokümanlardak kelimeler satırlar şeklinde bölerek onları sütun şeklinde indexler böylece performanslı bir arama yöntemi olur.

TF, terim frekansı anlamına gelir. Bir kelimenin bir belgedeki geçiş sıklığıdır.

IDF, ters belge frekansı anlamına gelir. Belge sayısının incelenen kelimeyi içeren topluluktaki belge sayısına bölümünün logaritması alınarak hesaplanır. Örneğin, belge sayımız 100 ise ve aratılan kelimemiz yalnızca 10 belgede görünüyorsa bu durumda IDF değerimiz 1’dir. Toplam doküman sayısı ile geçen doküman sayısı arasındaki fark çok büyük olabileceğinden değeri normalize etmek için logaritması alınır.

\log{\frac{N}{n_{k}}}

$N$ = Toplam Belge sayısı
$n_{k}$ = k kelimesinin geçtiği belge sayısı

Ardından bulunan TF ve IDF sonuçları kelimenin belge de ne kadar önemli olduğunu bulabilmek amacıyla çarpılır. Bu sayede yaygın kelimeler ve kullanılan ekler düşük ağırlık alırken, spesifik kelimeler daha yüksek önem alır.

w_{ik} = tf_{ik} \cdot idf_{k}

$tf_{ik}$ = k kelimesinin i belgesindeki geçiş sıklığı

Doküman vektörlerinin daha sağlıklı karşılaştırılabilmesi için terimlerin ağırlıklarının normalize edilmesi gerekir.

N(w_{ik}) = \frac{tf_{ik} \cdot \log{\frac{N}{n_{k}}}}{\sqrt{\sum_{k=0}^{M-1} (tf_{ik})^{2} \cdot \left[ \log\left( \frac{N}{n_{k}} \right) \right] ^{2} }}

$M$ = Toplam kelime sayısı

Her bir kelime için elde edilmiş TF-IDF değerleri hesaplanarak doküman vektörleri oluşturulur. Örneğin Mantis ve Yazılım kelimelerinden oluşan vektör şu şekilde olacaktır.

\overrightarrow{D_{1}} = \left[ w_{mantis_{d1}}, w_{yazılım_{d1}} \right]

İlgili dokümanları bulmak için sorgu vektörü ile doküman vektörleri arasındaki yakınlığı bulmak gerekir. Bunun için de iki vektör arasındaki açı Cosine Similarity ile hesaplanarak iki vektör arasındaki benzerlik ölçülür. İki açı arasındaki fark ne kadar küçükse o kadar ilgilidir. Böylece işlenen sorgu, inverted index üzerindeki belgelerle eşleştirilir, alaka (relevans) düzeyine göre sıralanır ve kullanıcıya döndürülür.

İki vektör A ve B için kosinüs benzerliği şu formülle hesaplanır:

\cos(\theta) = \frac{\sum\limits_{i=1}^{n} A_i B_i}{\sqrt{\sum\limits_{i=1}^{n} A_i^2} \cdot \sqrt{\sum\limits_{i=1}^{n} B_i^2}}

BM25 ise TF-IDF’in geliştirilmiş bir versiyonudur ve belgelerin sıralama skorlarını hesaplamak için kullanılır. Aradığınız kelime ile en çok eşleşen belgeleri sunar. Bunu yaparken kelime sayacı, kelimelerin yeri ve kelimelerin uzunluğuna dikkat eder. Kelime sayacı ile aradığınız kelimenin dokümanda ne kadar sık geçtiğine bakar, aranılan kelimelerin dokümanda nerede geçtiğine dikkat eder, aratılan kelimenin başlıkta mı yoksa metinde mi olduğuna bakar. Aranan kelimelerin uzunluğu ve spesifikliği istenilen sonucun daha doğru olmasını sağlar. İnternette kullandığımız birçok web sitesinin arama motorunda (Solr, Elasticsearch, Opensearch, ...) bu algoritma kullanılır. Aynı zamanda e-posta filtreleme, ürün önerisi sistemleri ve chatbot’lar gibi birçok farklı yerde karşınıza çıkabilir.

SONUÇ

Bu yazının amacı Full-text Search’ün günlük hayatta kullandığımız Google, Yandex gibi arama motorlarının nasıl size istediğiniz dokümanları sunduğunu anlatmaktır. Full-text Search, kelimelerin dokümanlarla bağlantılarını çözerek istediğiniz dokümanın ne olduğunu algılayabilmek için içerisinde TF ve IDF hesaplamaları yapması ve bunlar sayesinde sorgulanan kelime ile ilişkili dokümanlara ulaşmayı sağlamaktadır. TF-IDF aslına bakılırsa sizin girdiğiniz kelimelerin alaka seviyelerini ölçerek sizin için en iyi dokümanı ortaya çıkartmak ister. Bir arama motorunda herhangi bir şey arattığınızda en üstte çıkan sitelerin her zaman konunuzla daha alakalı olduğunu fark etmişsinizdir. İşte bunun olmasının sebebi Full-Text Search’dür. Eğer Full-Text Search’ün nasıl çalıştığını algılayabilirseniz daha etkili ve işinize yarar sorgular yapabilirsiniz.

REFERANS

https://www.turhost.com/blog/tf-idf-nedir/
https://medium.com/algorithms-data-structures/tf-idf-term-frequency-inverse-document-frequency-53feb22a17c6
https://medium.com/@kamillgun/full-text-search-e22a1251539
https://erolakgul.net/2015/09/13/full-text-search-mimarisi/
https://barisakdas.medium.com/bm25-best-match-re%C5%9Fevancy-algoritmas%C4%B1-nedir-a72f4103031c

LLM Nedir, Transformers nasıl Çalışır?

Elif Albakır — Fri, 24 Jan 2025 08:45:07 +0000

Genel anlamda aslında LLM (Large Language Models) yani bir diğer adıyla Büyük Dil Modelleri hepimizin günlük yaşantısında bir şekilde kullandığı bir yapay zekâ modelidir. Buna örnek göstermek istersek en popüler örneklerinden birisi ChatGPT’dir. LLM’i farklı yapan şey nedir dersek ortaya kesinlikle insan zekasına yakın bir yaratıcılık ve düşünme yetisi diyebiliriz. LLM daha insanvari bir yapıya sahip olarak, insan duygularını analiz edebilme, kelime tahminlerinde bulunabilme ve kelimeler arasında bağlantı kurabilme gibi özelliklere sahiptir. LLM bunu verilen cümlelere göre sonraki kelimeleri tahmin ederek yapıyor. Bunu basitçe cep telefonunuzdaki kelime tamamlama özelliği gibi düşünebiliriz. Elbette LLM bunu kendiliğinden yapmıyor. Büyük miktarda metin verisiyle eğitmek ve üzerinde ince ayarlar yapmak gerekiyor. Yani LLM'ler büyük veri setleri ile eğitilmiş, kelimeler arasındaki bağlamsal ve dilbilgisel bağlantıları anlayarak uygun kelimeleri seçen bir derin öğrenme modelidir.

Bunu da kendi kendine öğrenme teknikleri aracılığıyla yapar. Bu noktada Transformers mimarisi devreye girer. Dönüştürücü yapay sinir ağlarının hatırlama ve önerme gibi yetenekleri için kullanılır. Transformers mimarisi kullanılarak girdilerin nasıl çıktılara dönüştüğünü adım adım anlatmakla başlayalım.

1.

Modele gelen sorgular token adı verilen modelin anlayabileceği birimlere bölünür. Bu birimler, kelime, ek ya da özel karakterler olabilir. Ama model kelimeleri değil sayıları anlar bu sebeple tokenler, modelin anlayabileceği dile, yani embedinglere çevrilmesi için modelin içerisindeki token id'lere çevrilir.

Modelin çalışmaya başlaması için girilen sorgunun bittiğini anlaması gerekir. Bunun için başlangıç tokenleri (<|endoftext|>) kullanılır. Başlangıç tokenleri basitçe anlatmak gerekirse cümle sonundaki nokta görevini görürler.

2.

Bu tokenler, model tarafından işlenmeden önce sayıların bulunduğu yüksek boyutlu bir vektöre (tensor) dönüştürülür ve vektör uzayında temsil edilirler. Buna ise embedding yani gömme denir.

3.

Pozisyonel kodlama ile embedinglere tokenlerin sırası eklenerek kodlayıcı (encoder) katmanına gönderilir.

4.

Encoder katmanı değişken uzunlukta bir veriyi alarak sabit bir değişken haline getirir, embedingler bu kısımda self-attention ve feed forward işlemlerinden de geçer. Self attention, tokenlar arasında bağlantı kurabilme veya kelime öneriminde bulunabilmesi için gereken bir işlemdir. Token arasındaki bağlam ve anlam bütünlüğünü oluşturulmasını sağlar. Buradaki işlemler paralel çalışır.

5.

Encoder katmanında üretilen girdi temsili decoder (çözücü) katmanına gider. Bu katman başlangıç tokenini (<|endoftext|>) gördüğünde bir sonraki kelime için olası cevap kombinasyonları hesaplanır. Ve bu cevap kombinasyonları embedinglere dönüştürülerek olasılıklarının hesaplanması için lineer katmana yollanır ve lineer katmanda oluşturulan olasılıklar softmax katmanında normalize edildikten sonra ilk aday kelime bu katmana geri gönderilir. Bu aday kelime girdi temsili de kullanılarak sonraki kelimeler tahmin edilir. Model cevabı bitirdiğinde başlangıç tokenini (<|endoftext|>) dönerek çıktının bittiğini bildirir.

6.

Lineer katmanda kelime sıralarının korunması ve sıraya dikkat edilir. Modelin tahmin ettiği kelime olasılıkların dağılımını hesaplar.

7.

Lineer katmanda tahmin edilen kelime olasılıkları softmax katmanına yollanır. Girdi ne olursa olsun (pozitif, negatif vs.) softmax fonksiyonu bu girdiyi 0 ve 1 arasında bir değere dönüştürür. Yani olasılık dağılımını normalize eder.

Sonuç

Bu yazı LLM’in ne olduğu ve transformers mimarisinin nasıl çalıştığını temel olarak anlatmak amacıyla yazılmıştır. LLM’ler gelişmiş büyük bir veri setleriyle eğitilmeleri ve transformers mimarisini kullanmaları sayesinde girilen sorgulara uygun çıktılar verebilmeleri, sonraki kelimeyi tahmin etme ve olasılıklar oluşturarak yaratıcı cevaplar verebilme yeteneğine sahiptirler. Bu yetenekleri NLP’ler için devrim yaratacak seviyelere gelmiştir. Elbette bu seviyelerin temelinde transformers mimarisinin temel yapı taşı olduğunu belirtmek gerekir. LLM’ler insan ve makine arasındaki iletişimin sağlanması ve etkileşimin artmasını sağlamışlardır. LLM’ler sayesinde doğal dil işleme (NLP) kazandığı bu farklı boyut sayesinde gelecekte çok daha ileri seviyelerde olacak bir gelişim göstermeye devam etmektedir.

Referanslar

https://rpradeepmenon.medium.com/introduction-to-large-language-models-and-the-transformer-architecture-534408ed7e61

https://developers.google.com/machine-learning/crash-course/llm/transformers?hl=tr

https://aws.amazon.com/what-is/large-language-model/

https://bulutistan.com/blog/large-language-model-llm-nedir-uygulama-ornekleri/

https://youtu.be/wjZofJX0v4M