Doğal Dil İşleme Serisi — Bölüm 5: Transformer Mimarisi

“Görmek, bakmaktan farklıdır; anlamak, okumaktan. Fark, dikkattedir.” — Simone Weil

Bu Seri Hakkında

Bu yazı, Doğal Dil İşleme (NLP) alanını temellerden ileri tekniklere kadar ele alan altı bölümlük bir yazı dizisinin beşinci parçasıdır.

Bölüm 1 — Metin Ön İşleme: Tokenizasyon, durak kelime temizleme, stemming vs. lemmatizasyon, Türkçe morfolojik analiz.
Bölüm 2 — Metin Temsili: Kelimelerden Vektörlere: Bag of Words, TF-IDF, Word2Vec, GloVe, FastText ve statik embedding’lerin evrimi.
Bölüm 3 — NLP Görevleri: POS tagging, NER, duygu analizi, metin sınıflandırma ve Türkçe NLP uygulamaları.
Bölüm 4 — RNN ve LSTM: Sıralı modellerin yükselişi, hafıza problemi ve LSTM’in zarif çözümü.
Bölüm 5 — Transformer Mimarisi (bu yazı): Attention mekanizması, Multi-Head Attention, BERT ve bağlamsal embedding’ler.
Bölüm 6 — Pratik NLP Pipeline’ı: Uçtan uca proje: Türkçe iş ilanı-CV eşleştirme sistemi.

Önceki bölümlerde metni parçalamayı, sayısal temsillere dönüştürmeyi, temel NLP görevlerini ve sıralı modellerin (RNN/LSTM) hikâyesini izledik. Bölüm 4'te RNN’in sıralı işleme darboğazını, LSTM’in kaybolan gradyan problemine zarif çözümünü ve attention mekanizmasının seq2seq mimarisi içindeki doğuşunu detaylıca ele aldık. O bölümün sonunda bir soru sormuştuk: “Ya recurrence’ı tamamen kaldırsak? Ya attention tek başına yeterli olsa?”

Bu bölümde, o sorunun cevabını veren mimariyi — Transformer — ve onun NLP’yi nasıl kökten dönüştürdüğünü ele alacağız. Ama salt teknik bir anlatımın ötesine geçeceğiz: makalenin doğuş hikâyesinden, modelin içini açan araştırmalara, enerji tartışmalarından felsefi sorulara kadar geniş bir perspektif sunacağız.

1. Bir Makalenin Hikâyesi: “Attention Is All You Need”

Haziran 2017. Google Brain ve Google Research’ten sekiz araştırmacı — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser ve Illia Polosukhin — “Attention Is All You Need” başlıklı bir makale yayımladı. 2025 itibarıyla bu makale 173.000'den fazla atıfla 21. yüzyılın en çok atıf alan ilk on makalesi arasına girdi.

Makalenin başlığı, Beatles’ın “All You Need Is Love” şarkısına bir göndermedir. “Transformer” adı ise yazarlardan Jakob Uszkoreit’ın bu kelimenin tınısını beğenmesi sebebiyledir — erken tasarım dokümanlarında Transformers film serisinden karakterlerin illüstrasyonları bile varmış. Bu küçük anekdotlar, tarih değiştiren bir buluşun beklenmedik derecede rahat bir atmosferde doğduğuna işaret ediyor.

Ancak makalenin kendisi son derece önemli bir problemi çözüyordu. Bölüm 4'te detaylıca ele aldığımız gibi, o dönemde NLP’nin omurgası olan RNN ve LSTM modelleri iki temel sınırlamayla boğuşuyordu: sıralı işleme nedeniyle GPU paralelliğinden yararlanamama ve uzun menzil bağımlılıklarda bilgi kaybı. Bahdanau’nun attention mekanizması bu sorunları kısmen çözmüştü, ama recurrence’ın yapısal kısıtlamalarını tamamen çözemiyordu.

Transformer, bu kısıtlamaları radikal bir kararla aştı: recurrence’ı tamamen kaldırdı. Montaj hattını ortadan kaldırıp tüm işçilerin aynı anda birbirleriyle konuşabildiği bir açık ofis modeline geçti. Ve bunu tek bir mekanizmayla yaptı: self-attention.

İşin çarpıcı yanı, bu kadar etkili bir modelin eğitim maliyetiydi. Makalede belirtildiğine göre, temel (base) model 8 adet NVIDIA P100 GPU üzerinde yalnızca 12 saatte eğitildi. Büyük (big) model ise 3,5 gün sürdü. Bu sayılar, sonraki yıllarda gelecek olan devasa eğitim süreleriyle karşılaştırıldığında şaşırtıcı derecede mütevazıdır — ve Transformer’ın zarafetinin bir göstergesidir.

2. Self-Attention: Her Kelime Diğerlerine Bakar

Self-attention mekanizmasının temel sorusu şudur: bir cümledeki her kelime, anlamını belirlemek için diğer hangi kelimelere ne kadar dikkat etmelidir?

“Kedi süt içti çünkü o açtı” cümlesinde, “o” zamiri kime referans veriyor? İnsan için cevap açık: “kedi”. Self-attention, “o” kelimesinin cümledeki her kelimeyle bir dikkat skoru hesaplamasını sağlar. “Kedi” ile yüksek, “süt” ile düşük bir skor elde edilir — ve “o”nun temsili, bu skorlara göre ağırlıklandırılmış bir bileşim olur.

Kütüphane Metaforu: Q, K, V

Self-attention üç aktöre dayanır: Query (Sorgu), Key (Anahtar) ve Value (Değer). Bunu bir kütüphane ziyaretiyle anlatabiliriz.

Kütüphaneye giriyorsunuz, elinizde bir arama sorusu var: “Türkçe NLP hakkında kaynak arıyorum” — bu sizin Query’niz. Kütüphanedeki her kitabın sırtında bir etiket var: “Doğal Dil İşleme”, “Lineer Cebir”, “Osmanlı Tarihi” — bunlar Key’ler. Sorgunuzu her etiketle karşılaştırırsınız; NLP etiketi sorgunuza çok uyar, tarih hiç uymaz. Bu uyum skoruna göre kitapların içeriğine — Value — ne kadar başvuracağınız belirlenir.

Formül zarif bir biçimde bunu ifade eder:

Attention(Q, K, V) = softmax(QK^T / √d_k) × V

QK^T her sorgu-anahtar çiftinin uyum skorunu hesaplar. √d_k'ya bölme kritik bir detaydır: orijinal makalede yazarlar, boyut büyüdükçe dot product değerlerinin çok büyüdüğünü ve softmax'ı doygunluğa iterek gradyanların kaybolmasına yol açtığını gözlemlemişlerdir. Bu basit ölçekleme faktörü, modelin kararlı biçimde eğitilmesini sağlar. softmax skorları olasılık dağılımına dönüştürür. Son olarak bu ağırlıklar Value'larla çarpılarak bağlamsal çıktı oluşturulur.

Self-Attention Neden Devrimci?

Üç temel avantaj RNN’lere göre oyun değiştiricidir:

Sabit yol uzunluğu: RNN’de ilk kelimeden son kelimeye bilgi taşımak O(n) adım gerektirir. Self-attention’da her kelime diğer her kelimeye doğrudan erişir — yol uzunluğu O(1). 500 kelimelik bir paragrafta bile ilk kelime ile son kelime arasında doğrudan bağ kurulabilir.

Tam paralelleştirme: Tüm dikkat skorları aynı anda hesaplanır. Bu, GPU’ların paralel mimarisinden tam olarak yararlanılmasını sağlar. Orijinal makaledeki 12 saatlik eğitim süresi, bu paralelliğin doğrudan sonucudur.

Değişken bağlam penceresi: Word2Vec’te pencere sabittir (örn. 5 kelime). Self-attention, dizinin tamamını bağlam olarak kullanır.

Elbette bu gücün bir bedeli var: self-attention’ın hesaplama karmaşıklığı O(n²)’dir — dizi uzunluğunun karesiyle orantılı. 512 token için sorun değil, ancak 100.000 token’lık bir belge için ciddi bir darboğazdır. Bu sınırlama, Longformer (2020), BigBird (2020), Flash Attention (2022) gibi verimli attention varyantlarının geliştirilmesine yol açmıştır. Flash Attention, GPU bellek hiyerarşisini optimize ederek standart attention ile aynı sonucu çok daha az bellekle elde eder — bugün neredeyse tüm büyük dil modelleri Flash Attention kullanır.

3. Multi-Head Attention: Aynı Tabloya Sekiz Farklı Gözle Bakmak

Tek bir attention başlığı, dilin tek bir boyutunu yakalayabilir. Ancak dil çok katmanlıdır: sözdizimsel ilişkiler, anlamsal benzerlikler, referans çözümleme, zaman ilişkileri — bunların hepsi aynı cümlede, aynı anda aktiftir.

Bir sanat eserini düşünün. Bir sanat tarihçisi renk paletine, bir mimar perspektif tekniğine, bir psikolog figürlerin duygusal ifadesine, bir tarihçi dönem göndermelerine dikkat eder. Her biri aynı tabloya bakıyor, ama farklı boyutlarını görüyor. Multi-Head Attention tam olarak budur: aynı girdiye birden fazla “bakış açısı”yla eş zamanlı olarak bakmak.

Orijinal makalede 8 başlık kullanılmıştır (d_model=512, her başlık 64 boyutlu alt uzayda çalışır). Ve makalenin kendi gözlemleri bunu doğrular: Figure 3 ve 4'te, bazı attention başlıklarının uzun mesafeli sözdizimsel bağımlılıkları (örneğin “making…more difficult” gibi kopuk fiil öbeklerini) izlediği, bazılarının ise zamir çözümleme (anaphora resolution) — “its” zamirinin referans verdiği ismi bulma — yaptığı açıkça görülmektedir.

Bu, modelin tasarım aşamasında “şimdi sözdizimi öğren, şimdi referans çöz” diye programlanmadığı anlamına gelir. Başlıklar, eğitim sırasında kendi başlarına farklı ilişki türlerini öğrenmişlerdir. Bu, Transformer’ın en çarpıcı özelliklerinden biridir: açıkça talimat verilmeden, yalnızca veri ve gradyanlarla, dilin çok katmanlı yapısını keşfetmesi.

4. Transformer Bloğu: Parçaları Birleştirmek

Multi-Head Attention tek başına Transformer değildir. Tam bir blok, attention’ın üzerine birkaç kritik bileşen daha ekler.

Feed-Forward Network: Modelin Bellekleri

Attention katmanından sonra, her pozisyon için bağımsız olarak uygulanan iki katmanlı bir sinir ağı gelir. İlk katman boyutu genişletir (512 → 2048), ReLU aktivasyonu uygular, ikinci katman daraltır (2048 → 512).

Bu FFN katmanlarının rolü uzun süre net değildi — attention “ilişki kurma” yapıyorsa, FFN ne yapıyordu? 2021'de Geva, Schuster, Berant ve Levy (Tel Aviv Üniversitesi ve Allen AI), EMNLP’de yayımlanan “Transformer Feed-Forward Layers Are Key-Value Memories” başlıklı çalışmalarında çarpıcı bir keşif yaptılar: FFN katmanlarının aslında bir tür ilişkisel bellek (associative memory) gibi çalıştığını gösterdiler. FFN’nin ilk katmanı belirli giriş kalıplarını tanıyan “anahtar” görevi görürken, ikinci katmanı bu kalıplara karşılık gelen bilgiyi depolayan “değer” görevi görür. Örneğin, bir FFN nöronu “Fransa” ile ilgili bağlamları tanıyabilir ve “Paris”, “Avrupa”, “şarap” gibi ilişkili kavramları aktive edebilir.

Bu bulgu, modelin dünya bilgisini nerede depoladığı sorusuna somut bir yanıt sunar: olgusal bilginin büyük bölümü FFN katmanlarında; ilişkisel ve bağlamsal bilgi ise attention katmanlarında yaşar.

Pozisyonel Kodlama: Sırayı Hatırlamak

Self-attention’ın bir paradoksu vardır: tüm kelimelere aynı anda bakabilme gücü, kelime sırasına doğal bir duyarsızlık getirir. “Kedi fareyi kovaladı” ile “fareyi kedi kovaladı” cümlelerinde attention, kelimeler arasındaki ilişkileri yakalar ama hangi kelimenin önce geldiğini bilmez.

Bu sorunu çözmek için girdi embedding’lerine pozisyonel kodlama eklenir. Orijinal makalede sinüzoidal fonksiyonlar kullanılmıştır:

PE(pos, 2i)   = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

Bu formülün zarif bir özelliği vardır: farklı frekanslar farklı “ölçeklerde” pozisyon bilgisi taşır. Düşük frekanslı sinüsler uzun mesafeli pozisyon bilgisini, yüksek frekanslı sinüsler kısa mesafeli bilgiyi kodlar — tıpkı bir saatteki saat, dakika ve saniye ibreleri gibi. Makalede yazarlar, sinüzoidal versiyonu seçmelerinin nedenini açıkça belirtir: “Modelin, eğitim sırasında karşılaşılandan daha uzun dizilere genellemesine olanak tanıyabilir.”

BERT ve GPT-2 gibi sonraki modeller, sinüzoidal yerine öğrenilebilir pozisyonel kodlamayı tercih etmiştir — model, her pozisyon için en uygun kodlamayı eğitim sırasında kendisi öğrenir. Daha yakın zamanda ise RoPE (Rotary Position Embedding) ve ALiBi gibi teknikler, çok daha uzun bağlam pencerelerini desteklemeyi mümkün kılmıştır.

Residual Connection ve Layer Normalization

Her alt katmanın etrafına eklenen artık bağlantı (x + Sublayer(x)) ve katman normalizasyonu, Transformer'ın 12 (veya daha fazla) katmanlı derinliğinde eğitimin kararlı kalmasını sağlar. Artık bağlantılar ResNet'ten (2015) ödünç alınmıştır ve derin ağlarda gradyan akışının sağlıklı kalmasını garanti eder. Bu olmadan 12 katmanlı bir Transformer eğitmek son derece zor olurdu.

5. Encoder, Decoder ve Üç Paradigma

Orijinal Transformer, encoder ve decoder olmak üzere iki ana bileşenden oluşur. Her biri 6 bloktan oluşur. Bu iki bileşen farklı görev türleri için optimize edilmiştir ve sonraki yıllarda üç ayrı paradigmanın doğmasına yol açmıştır:

Encoder-Only (çift yönlü): Her token hem önceki hem sonraki token’lara dikkat eder. Metni anlama görevleri için idealdir. BERT (2018), RoBERTa (2019), ELECTRA (2020) bu yapıyı kullanır.

Decoder-Only (tek yönlü): Her token yalnızca önceki token’lara dikkat edebilir — gelecek maskelenir (causal masking). Bir sonraki kelimeyi tahmin ederek metin üretir. GPT serisi, LLaMA, Mistral bu yapıyı kullanır. Bugün büyük dil modellerinin baskın çoğunluğu decoder-only mimariye sahiptir.

Encoder-Decoder: Encoder girdiyi anlar, decoder bu anlama dayanarak çıktı üretir. Bir dili okuyup başka bir dilde yazmak gibi dönüştürme görevleri için tasarlanmıştır. T5, BART ve orijinal Transformer bu kategoridedir.

İlginç bir tarihsel not: orijinal makale çeviri görevine odaklanmıştı — yani encoder-decoder yapısına. Ancak yazarlar, makalenin sonuç bölümünde Transformer’ı diğer görevlere uygulamayı planladıklarını belirtmişlerdi. BERT’in encoder-only yapıyı, GPT’nin decoder-only yapıyı alıp bağımsız başarı hikâyelerine dönüştürmesi, orijinal mimarinin ne kadar esnek ve güçlü olduğunun kanıtıdır.

6. BERT: NLP’nin “ImageNet Anı”

2018'in sonunda Google’dan Devlin, Chang, Lee ve Toutanova, BERT (Bidirectional Encoder Representations from Transformers) modelini tanıttı. BERT, 11 farklı NLP benchmark’ında eş zamanlı olarak yeni rekorlar kırarak alanı sarstı. Bu etki, bilgisayarlı görme alanında ImageNet yarışmasının derin öğrenme devrimini başlatmasına benzetildi — BERT, NLP’nin “ImageNet anı” olarak anıldı.

BERT’in yeniliği iki öz-denetimli eğitim görevindeydi:

Masked Language Modeling (MLM): Girdi token’larının %15'i rastgele maskelenir ve model bu boşlukları doldurmak zorundadır. Bu bir tür “dil Sudoku’su”dur: eksik kelimeyi tahmin etmek, çevredeki tüm bağlamı — hem soldan hem sağdan — anlamayı gerektirir. “Ankara Türkiye’nin [MASK] şehridir” cümlesinde boşluğu doldurmak için modelin Ankara’nın ne olduğunu, Türkiye ile ilişkisini ve cümlenin sözdizimsel yapısını bilmesi gerekir.

Next Sentence Prediction (NSP): İki cümlenin ardışık olup olmadığını tahmin eder. Ancak sonraki çalışmalar (özellikle RoBERTa, 2019), NSP’nin katkısının sınırlı olduğunu göstermiş ve bu görevi kaldırmıştır. Bu, bilimsel sürecin güzel bir örneğidir: bir yeniliğin hangi bileşenlerinin gerçekten gerekli olduğunu anlamak, bazen yeniliğin kendisi kadar önemlidir.

BERT Klasik NLP Pipeline’ını Yeniden Keşfediyor

BERT’in iç yapısını anlamaya yönelik en aydınlatıcı çalışmalardan biri, Tenney, Das ve Pavlick’in 2019'da ACL’de yayımladığı “BERT Rediscovers the Classical NLP Pipeline” makalesidir. Araştırmacılar, BERT’in 12 katmanının her birinde hangi dilbilimsel bilginin kodlandığını inceledi ve şaşırtıcı bir düzen keşfetti:

Alt katmanlar (1–4): POS tagging — kelimelerin dilbilgisel rolleri Orta katmanlar (4–8): Sözdizimsel ayrıştırma (parsing) ve bağımlılık ilişkileri Üst katmanlar (8–11): NER, anlamsal roller En üst katmanlar (11–12): Referans çözümleme (coreference resolution)

Bu sıralama, geleneksel NLP pipeline’ının — yüzeyden derine — tam olarak yeniden üretimidir. Bölüm 3'te tartıştığımız arkeolojik kazı metaforu burada somutlaşır: BERT’in alt katmanları yüzey buluntularını (sözdizim), üst katmanları derin yapıları (anlam, referans) çözümler. Ve en çarpıcı bulgu: model bazen bu sırayı dinamik olarak tersine çevirir — üst katmanlardaki anlamsal bilgiyi kullanarak alt katmanlardaki sözdizimsel kararları revize eder. Bu, sabit bir pipeline’ın yapamayacağı bir şeydir ve BERT’in gücünün bir parçasıdır.

Bu araştırma aynı zamanda pratik bir anlam taşır: eğer göreviniz basit bir POS tagging ise, BERT’in son katmanlarına ihtiyacınız yok — ilk birkaç katman yeterli. Bu gözlem, hesaplama kaynaklarını optimize etmek için “erken çıkış” (early exit) stratejilerinin temelini oluşturur.

7. Bağlamsal Embedding’ler: Bağlam Körlüğünün Sonu

Bölüm 2'de statik embedding’lerin en büyük sınırlamasını tartışmıştık: “yüz” kelimesine surat da olsa, sayı da olsa aynı vektör atanıyordu. BERT bu sorunu kökten çözer.

“Bankadan para çektim” cümlesinde “banka”nın embedding’i, finans ve para kavramlarına yakın bir vektör olur. “Nehir bankında oturdum” cümlesinde ise aynı kelime doğa ve su kavramlarına yakın farklı bir vektör alır. Bu mümkündür çünkü self-attention, çevredeki kelimelerin bilgisini “banka”nın temsiline katıştırır.

Bu, dilbilimde çokanlamlılık (polysemy) olarak bilinen olgunun çözümüdür. Saussure’ün Bölüm 2'deki “farklar” ilkesi ve Firth’ün “bir kelimeyi komşularından tanırsın” gözlemi, BERT’te matematiksel gerçekliğe dönüşür: aynı kelimenin farklı bağlamlardaki farklı “komşuları”, farklı vektörlere yol açar.

Ancak önemli bir nüans: BERT’in [CLS] token'ı cümle benzerliği için doğrudan optimize edilmemiştir. Bu sorun, 2019'da Reimers ve Gurevych'in Sentence-BERT (SBERT) çalışmasıyla çözülmüştür. SBERT, siyam ağ (siamese network) yapısıyla her cümleyi bağımsız olarak tek bir vektöre dönüştürür. Semantik arama yazımda detaylıca ele aldığım gibi, bu yaklaşım 10.000 cümle arasında en benzer çifti bulmayı 65 saatten 5 saniyeye düşürdü — 46.800 katlık bir hızlanma.

8. BERTurk: Türkçe İçin Transformer

Çok dilli modeller (mBERT, XLM-RoBERTa) Türkçe’de çalışır, ancak 100+ dil arasında kaynak paylaşımı nedeniyle performansları dile özel modellerden genellikle düşüktür. Stefan Schweter’in 2020'de yayımladığı BERTurk, Türkçe Wikipedia, OPUS, OSCAR ve haber corpus’ları üzerinde eğitilmiş, Türkçe’ye özel bir BERT modelidir.

BERTurk’ün tokenizer’ı Türkçe morfolojisine optimize edilmiştir: “yapamayacaktır” kelimesini ['Yapa', '##mayacak', '##tır'] şeklinde parçalar. Bu, Bölüm 1'de tartıştığımız Türkçe'nin sondan eklemeli yapısını yakalayan pratik bir çözümdür.

BERTurk ailesi birkaç varyant içerir: bert-base-turkish-cased (32.000 token sözlük, 12 katman, 110M parametre) en yaygın kullanılanıdır. DistilBERTurk, bilgi damıtma ile elde edilmiş daha küçük bir modeldir — 6 katman, ~%40 daha hızlı, minimal performans kaybı. Bu model, hız ve kaynak kısıtlı ortamlar için idealdir.

Türkçe NLP ekosisteminde BERTurk üzerine inşa edilmiş görev özel modeller de mevcuttur: savasy/bert-base-turkish-ner-cased (NER), savasy/bert-base-turkish-sentiment-cased (duygu analizi). Bu modeller, BERTurk'ün genel dil bilgisini spesifik görevlere ince ayar (fine-tuning) ile yönlendirerek üretilmiştir.

9. Ölçek Devrimi ve Sınırları

Transformer mimarisinin bir özelliği, ölçeklenmeye doğal olarak uygun olmasıdır. Daha fazla katman, daha fazla parametre, daha fazla veri — ve performans artmaya devam eder. Bu gözlem, Kaplan ve arkadaşlarının 2020'de yayımladığı “Scaling Laws for Neural Language Models” çalışmasıyla matematiksel olarak formüle edildi: model boyutu, veri miktarı ve hesaplama bütçesi birlikte artırıldığında, performans bir güç yasası (power law) izleyerek öngörülebilir biçimde iyileşir.

Bu keşif, büyük dil modelleri yarışını tetikledi:

Model          Yıl   Parametre    Eğitim Süresi
─────────────────────────────────────────────────
Transformer    2017   65M         12 saat (8 GPU)
BERT-base      2018   110M        4 gün (16 TPU)
GPT-2          2019   1.5B        —
GPT-3          2020   175B        ~3.6M GPU-saat
PaLM           2022   540B        —
LLaMA 3        2024   405B        —

Enerji ve Çevre Tartışması

Bu büyümenin bir bedeli var. Emma Strubell, Ananya Ganesh ve Andrew McCallum’un 2019'da ACL’de yayımladığı “Energy and Policy Considerations for Deep Learning in NLP” çalışması, NLP topluluğunda bir uyanış çağrısı oldu. Araştırmacılar, büyük bir Transformer modelinin mimari arama (neural architecture search) dahil tam geliştirme sürecinde ürettiği karbon emisyonunun, beş otomobilin tüm yaşam döngüsü boyunca ürettiği emisyona eşdeğer olabileceğini tahmin ettiler.

Bu bulgu, “daha büyük her zaman daha mı iyi?” sorusunu gündeme getirdi. Cevap, “küçük ama verimli” modellere — DistilBERT, TinyBERT, MobileBERT — olan ilgiyi artırdı. Bilgi damıtma (knowledge distillation), budama (pruning) ve nicemleme (quantization) teknikleriyle büyük modellerin bilgisi, çok daha küçük modellere aktarılabilir. DistilBERT, BERT’in performansının %97'sini korurken %40 daha küçük ve %60 daha hızlıdır.

Enerji tartışması aynı zamanda eğitimde kullanılan enerji kaynaklarının önemini de vurguladı. Aynı hesaplama, hidroelektrik enerjisiyle çalışan bir veri merkezinde yapıldığında karbon ayak izi dramatik biçimde düşer. Sürdürülebilirlik, yalnızca model boyutunda değil, altyapı seçimlerinde de aranmalıdır.

10. BERT’in Ötesinde: Transformer Ailesinin Genişlemesi

BERT, transformer devriminin başlangıcıydı — sonu değil. 2018'den bu yana onlarca varyant geliştirildi, her biri farklı bir sınırlamayı aşmak için tasarlandı.

Daha İyi Eğitim Stratejileri

RoBERTa (2019, Meta): BERT’in mimarisine dokunmadan eğitim stratejisini optimize etti. NSP görevini kaldırdı, daha büyük batch size kullandı, daha uzun eğitim yaptı. Sonuç: aynı mimari, belirgin biçimde daha iyi performans. Bu çalışma, mimarinin kendisi kadar eğitim stratejisinin de kritik olduğunu gösterdi — bir ders ki mühendislik pratiğinde sıklıkla göz ardı edilir.

ELECTRA (2020, Google): MLM yerine “replaced token detection” kullandı. Bir küçük generator model maskelenmiş kelimeleri sahte kelimelerle doldurur; bir discriminator hangi kelimelerin “sahte” olduğunu tespit eder. Tüm token’lar üzerinde öğrenme yapıldığından — sadece %15'lik maskeleme yerine — aynı hesaplama bütçesiyle çok daha verimli öğrenme sağlar. Küçük modellerde BERT’i belirgin biçimde geçer.

DeBERTa (2020, Microsoft): Disentangled attention ile içerik ve pozisyon bilgisini ayrı ayrı işler. SuperGLUE benchmark’ında insan performansını aşan ilk modellerden biri oldu.

Üretici Modeller

GPT serisi (OpenAI): Decoder-only mimarinin gücünü gösterdi. GPT-3 (175B, 2020), few-shot ve zero-shot öğrenme yetenekleriyle paradigmayı değiştirdi — model, çok sayıda etiketli örnekten değil, birkaç örnekten veya sadece talimatlardan öğrenmeye başladı.

LLaMA (Meta): Açık kaynak büyük dil modelleri hareketini başlattı. Araştırma topluluğuna açık olması ve fine-tuning kolaylığıyla NLP demokratizasyonunun sembolü haline geldi. LLaMA’nın etkisi yalnızca teknik değil, sosyal ve politiktir: yapay zeka araştırmasının yalnızca büyük şirketlerin tekelinde olmaması gerektiği argümanını somutlaştırmıştır.

11. Transformer NLP’nin Ötesinde

Transformer mimarisi, NLP için tasarlanmış olsa da çok geçmeden alanın sınırlarını aştı. 2020'de Dosovitskiy ve arkadaşları (Google), Vision Transformer (ViT) ile görüntüleri yamalara (patches) ayırıp Transformer’a vererek, görüntü sınıflandırmada CNN’lere rakip olabileceğini gösterdi. Bu çalışma, Transformer’ın yalnızca dil için değil, herhangi bir dizi verisi için geçerli bir genel amaçlı hesaplama motoru olduğunu kanıtladı.

Bugün Transformer mimarisi protein yapısı tahmini (AlphaFold 2), müzik üretimi, robotik hareket planlaması, hava durumu tahmini (Google DeepMind’ın GenCast modeli), DNA dizi analizi ve daha birçok alanda kullanılmaktadır. Dikkat mekanizmasının evrenselliği — herhangi bir eleman kümesinde elemanlar arası ilişkileri modelleme yeteneği — onu dil ötesi bir araç haline getirmiştir.

Bu evrensellik felsefi bir soru da doğurur: dikkat mekanizması, gerçek anlamda “anlıyor” mu, yoksa yalnızca istatistiksel kalıpları mı taklit ediyor? John Searle’ün ünlü Çin Odası düşünce deneyi (1980) — bir odada Çince sembolleri kurallarla manipüle eden ama Çince “anlamayan” bir kişi — bu bağlamda yeniden tartışılıyor. Transformer’lar dili anlamıyor olabilir, ama anlamanın kendisi ne anlama geliyor? Bu soru, yapay zeka çağının en derin felsefi tartışmalarından biri olmaya devam ediyor.

12. Pratik Rehber: Hangi Transformer Ne Zaman?

Görev Önerilen Model Neden? Türkçe metin sınıflandırma BERTurk + fine-tuning Türkçe’ye özel, kanıtlanmış performans Türkçe NER savasy/bert-base-turkish-ner-cased Türkçe NER için özel fine-tune Cümle benzerliği / Semantik arama paraphrase-multilingual-MiniLM-L12-v2 Hızlı, çok dilli Sentence-BERT Metin üretme / Diyalog GPT, LLaMA Autoregressive üretim Özetleme / Çeviri BART, T5 Encoder-decoder, seq2seq Zero-shot sınıflandırma facebook/bart-large-mnli Etiketli veri gerektirmez Hız kritik üretim ortamı DistilBERTurk ~40% daha hızlı, benzer performans Çok dilli görevler XLM-RoBERTa 100+ dil, cross-lingual transfer

Genel stratejik yaklaşım: önce en basit çözümü dene (önceden eğitilmiş model, doğrudan çıkarım), sonra gerekirse fine-tuning yap, en son mimari değiştir. Çoğu zaman BERTurk + 3 epoch fine-tuning, günlerce süren mimari arayışlarından daha iyi sonuç verir.

Bir sonraki — ve son — bölümde, bu serinin tüm parçalarını bir araya getireceğiz: metin ön işlemeden transformer embedding’lerine uzanan bilgiyi, uçtan uca bir Türkçe iş ilanı-CV eşleştirme projesiyle pratiğe dökeceğiz.

Kaynaklar

• Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). “Attention Is All You Need.” NeurIPS. — 173.000+ atıf, 21. yüzyılın en çok atıf alan makalelerinden.
• Devlin, J., Chang, M., Lee, K. & Toutanova, K. (2018). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” NAACL.
• Tenney, I., Das, D. & Pavlick, E. (2019). “BERT Rediscovers the Classical NLP Pipeline.” ACL. — BERT’in katmanlarının klasik NLP pipeline’ını yeniden ürettiğini gösteren çalışma.
• Strubell, E., Ganesh, A. & McCallum, A. (2019). “Energy and Policy Considerations for Deep Learning in NLP.” ACL. — NLP model eğitiminin çevresel maliyetini ilk kez sistematik olarak ölçümleyen çalışma.
• Geva, M., Schuster, R., Berant, J. & Levy, O. (2021). “Transformer Feed-Forward Layers Are Key-Value Memories.” EMNLP. — FFN katmanlarının ilişkisel bellek gibi çalıştığını gösteren çalışma.
• Reimers, N. & Gurevych, I. (2019). “Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks.” EMNLP.
• Liu, Y., Ott, M., Goyal, N., et al. (2019). “RoBERTa: A Robustly Optimized BERT Pretraining Approach.”
• Clark, K., Luong, M., Le, Q.V. & Manning, C.D. (2020). “ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators.” ICLR.
• Kaplan, J., McCandlish, S., Henighan, T., et al. (2020). “Scaling Laws for Neural Language Models.”
• Schweter, S. (2020). “BERTurk — BERT Models for Turkish.”
• Dosovitskiy, A., et al. (2020). “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale.” ICLR 2021. — Vision Transformer (ViT).
• Jurafsky, D. & Martin, J.H. (2025). Speech and Language Processing (3rd ed.) — Bölüm 10: Transformers and Large Language Models.

Sonraki yazı: Bölüm 6 — Pratik NLP Pipeline’ı — Uçtan uca proje: Türkçe iş ilanı-CV eşleştirme sistemi.

---

Doğal Dil İşleme Serisi — Bölüm 5: Transformer Mimarisi was originally published in Kariyer.net Tech on Medium, where people are continuing the conversation by highlighting and responding to this story.

---

Bu yazı ilk olarak Medium'da yayımlandı.