Doğal Dil İşleme (NLP) Yazı Dizisi — Bölüm 4: RNN ve LSTM

Sıralı Düşüncenin Makinesi

Zaman, nehir gibi akar; ama biz nehrin tamamını aynı anda göremeyiz — yalnızca içinde bulunduğumuz anı.

Bu Seri Hakkında

Bu yazı, Doğal Dil İşleme (NLP) alanını temellerden ileri tekniklere kadar ele alan (bu bölüm sonradan listeye eklendi) altı bölümlük bir yazı dizisinin dördüncü parçasıdır.

Bölüm 1 — Metin Ön İşleme: Tokenizasyon, durak kelime temizleme, stemming vs. lemmatizasyon, Türkçe morfolojik analiz.

Bölüm 2 — Metin Temsili: Kelimelerden Vektörlere: Bag of Words, TF-IDF, Word2Vec, GloVe, FastText ve statik embedding’lerin evrimi.

Bölüm 3 — NLP Görevleri: POS tagging, NER, duygu analizi, metin sınıflandırma ve Türkçe NLP uygulamaları.

Bölüm 4 — RNN ve LSTM (bu yazı): Sıralı modellerin yükselişi, hafıza problemi ve LSTM’in zarif çözümü.

Bölüm 5 — Transformer Mimarisi: Attention mekanizması, Multi-Head Attention, BERT ve bağlamsal embedding’ler.

Bölüm 6 — Pratik NLP Pipeline’ı: Uçtan uca proje: Türkçe iş ilanı-CV eşleştirme sistemi.

Önceki üç bölümde metni parçalamayı, sayısal temsillere dönüştürmeyi ve temel NLP görevlerini öğrendik. Ancak tüm bu yöntemlerde bir şey eksikti: zaman. Dil, anlık bir fotoğraf değildir; bir film gibi akar. “Ben seni” dedikten sonra gelen kelime — “seviyorum” mu, “arıyorum” mu, “anlıyorum” mu — önceki kelimelere bağlıdır. Bir cümlenin anlamı, kelimelerin hangi sırayla geldiğiyle belirlenir. Bag of Words bunu görmezden geldi. TF-IDF bunu görmezden geldi. Word2Vec bile her kelimeye sıra-bağımsız tek bir vektör atadı.

Bu bölümde, NLP’ye zamanı ve sırayı getiren mimarileri — RNN ve LSTM — ele alacağız. Bu modeller, Transformer’dan önce NLP’nin omurgasıydı. Transformer’ı gerçekten anlamak için, önce onun hangi sorunları çözmek üzere doğduğunu bilmek gerekir. Ve bu sorunlar, RNN ve LSTM’in hikâyesinde saklıdır.

1. Dilin Zamansal Doğası: Neden Sıra Önemli?

İnsan dili, doğası gereği sıralıdır. Bir cümleyi ortasından okumaya başlayamazsınız — en azından anlamlı bir şekilde okuyamazsınız. “Kedi fareyi kovaladı” ile “Fareyi kedi kovaladı” aynı kelimeleri içerir ama farklı vurguları vardır. “Adam köpeği ısırdı” ile “Köpek adamı ısırdı”nın anlamları tamamen farklıdır — değişen tek şey kelime sırasıdır.

Sıra yalnızca kelimeler arasında değil, cümleler, paragraflar ve hatta bölümler arasında da anlam taşır. Bir romanın son cümlesini ilk sayfada okumak farklı bir deneyimdir. Bir haber makalesinin başlığı, gövdesinin bağlamını belirler. Dil, zamanda akan bir yapıdır.

Bölüm 2'de ele aldığımız yöntemler — Bag of Words, TF-IDF — bu zamansal yapıyı tamamen görmezden gelir. Kelimeler bir torbaya atılır ve sayılır; sıra bilgisi kaybolur. Word2Vec bağlamı bir pencere içinde kullanır, ama sonuçta her kelimeye tek bir sabit vektör atar. Bu yöntemler dilin sözlüğünü anlayabilir ama gramerini — kelimelerin sıralı ilişkilerini — kavrayamaz.

Peki bir makineye “önce bu geldi, sonra bu geldi, şimdi sırada ne var?” mantığını nasıl öğretebiliriz?

2. Recurrent Neural Network: Hafızalı Bir Sinir Ağı

1990'da Jeffrey Elman, Carnegie Mellon Üniversitesi’nde dili işleyebilen basit bir sinir ağı önerdi. Elman Ağı olarak bilinen bu mimari, standart bir sinir ağına tek bir yenilik ekliyordu: geri besleme döngüsü (recurrence). Ağın bir önceki adımdaki çıktısı, bir sonraki adımın girdisine eklenir. Böylece ağ, geçmişin bir “izini” taşıyarak yeni girdileri değerlendirir.

Bu fikir, RNN’in (Recurrent Neural Network) temelidir. Standart bir sinir ağı her girdiyi bağımsız işler — her fotoğrafı tek tek değerlendiren bir editör gibi. RNN ise bir film izleyen seyirci gibidir: her sahneyi, önceki sahnelerin bıraktığı izlenimle birlikte değerlendirir.

Nasıl Çalışır?

RNN’in çalışma mantığını bir cümle okuma deneyimiyle anlatabiliriz. “Bugün hava çok güzel” cümlesini okurken zihninizde şu süreç işler:

“Bugün” → Bir zaman ifadesi, belki hava durumu veya plan hakkında konuşulacak. “Bugün hava” → Kesinlikle hava durumu. “Güzel” veya “kötü” gibi bir sıfat bekliyorum. “Bugün hava çok” → Beklentim güçleniyor, yoğunlaştırıcı bir ifade geldi. “Bugün hava çok güzel” → Beklentim doğrulandı.

Her adımda, önceki kelimelerin oluşturduğu bir “zihinsel durum” vardır ve bu durum, bir sonraki kelimeyi nasıl yorumladığınızı etkiler. RNN tam da bunu yapar: her zaman adımında bir gizli durum (hidden state) taşır. Bu gizli durum, o ana kadar görülen tüm kelimelerin bir özetidir. Yeni bir kelime geldiğinde, mevcut gizli durum ve yeni kelime birleştirilir, güncellenir ve bir sonraki adıma aktarılır.

Matematiksel olarak:

h_t = f(W_h · h_{t-1} + W_x · x_t + b)

Burada h_t yeni gizli durum, h_{t-1} önceki gizli durum, x_t yeni girdi kelimesidir. f tipik olarak tanh aktivasyon fonksiyonudur. Bu formül, RNN'in tüm gücünün ve tüm sınırlamalarının kaynağıdır.

RNN’in İlk Başarıları

RNN’ler, 1990'lar ve 2000'lerde NLP’de ilk gerçek ilerlemeleri sağladı. Dil modelleme (bir sonraki kelimeyi tahmin etme), konuşma tanıma, el yazısı tanıma ve basit makine çevirisi gibi görevlerde kullanıldı. Bir RNN dil modeli, ilk kez kelimelerin sıralı bağımlılıklarını — “hava” kelimesinden sonra “durumu”nun gelmesinin muhtemel olduğunu — öğrenebiliyordu.

Ancak başarılar sınırlıydı. Cümleler uzadıkça, RNN’in performansı dramatik biçimde düşüyordu. Ve bunun nedeni, derin bir matematiksel problem olarak ortaya çıktı.

3. Kaybolan Gradyan Problemi: Kısa Süreli Hafızanın Laneti

RNN’in geri besleme döngüsü teoride sınırsız geçmişi taşıyabilir. Pratikte ise durum çok farklıdır. 1994'te Yoshua Bengio, Patrice Simard ve Paolo Frasconi, “Learning Long-Term Dependencies with Gradient Descent is Difficult” başlıklı makalelerinde bu sorunu matematiksel olarak formüle ettiler.

Problem şudur: eğitim sırasında, hata sinyali (gradyan) zamanın geriye doğru yayılması gerekir — backpropagation through time (BPTT). Her zaman adımında gradyan, ağırlık matrisinin tekrarlı çarpımından geçer. Eğer bu matrisin özdeğerleri (eigenvalues) 1'den küçükse, gradyan her adımda küçülür — katlanarak sıfıra yaklaşır. Buna kaybolan gradyan (vanishing gradient) denir. Eğer özdeğerler 1'den büyükse, gradyan her adımda büyür — kontrol edilemez biçimde patlar. Buna patlayan gradyan (exploding gradient) denir.

Bunu bir telefon oyununa benzetebiliriz: bir odada 20 kişi sıra halinde oturur, ilk kişi bir cümle fısıldar. Her kişi duyduğunu bir sonrakine aktarır. 5. kişiye kadar mesaj genellikle korunur, ama 20. kişiye ulaştığında orijinalinden tamamen farklı bir şeye dönüşmüş olur. RNN’de de bilgi, her zaman adımında biraz daha bozulur. 10–15 kelimelik cümlelerde bu sorun yönetilebilir, ama 50–100 kelimelik paragraflar için yıkıcıdır.

Somut bir örnek düşünelim: “Fransa’da doğup büyüyen, Paris’te üniversite okuyan, yıllarca Fransız edebiyatı çalışan yazar, eserlerini _______ dilinde yazmıştır.” Boşluğu doldurmak için cümlenin en başına — “Fransa’da” — dönmek gerekir. Ama RNN, 15+ kelime öncesindeki bilgiyi çoktan “unutmuştur”. Gradyanlar o kadar geriye etkili biçimde yayılamaz.

Bu sorun, Bölüm 5'te Transformer’ın neden devrimci olduğunu anlamanın anahtarıdır: self-attention, her kelimeyi diğer her kelimeye doğrudan bağlayarak bu mesafe sorununu tamamen ortadan kaldıracaktır.

4. LSTM: Unutmayı Öğrenen Ağ

1997'de Sepp Hochreiter ve Jürgen Schmidhuber, kaybolan gradyan problemine zarif bir çözüm önerdiler: Long Short-Term Memory (LSTM). LSTM’in temel fikri, RNN’in tek bir gizli durumuna ek olarak, bilgiyi uzun süre koruyabilen ayrı bir hücre durumu (cell state) eklemektir.

LSTM’i anlamak için, standart RNN’i küçük bir deftere not alan bir kişi olarak düşünün. Bu kişi her yeni bilgiyle birlikte tüm defteri yeniden yazar — önceki notlar üzerine yazar, bozar, karıştırır. LSTM ise aynı kişiye üç karar yeteneği kazandırır:

Unutma kapısı (Forget Gate): “Bu bilgiyi artık taşımama gerek var mı?” Hücre durumundaki hangi bilgilerin silineceğine karar verir. Bir romanda yeni bir bölüme geçtiğinizde, önceki bölümün bazı detaylarını — karakterlerin bulunduğu oda, giydikleri kıyafetler — unutursunuz, ama ana hikâye çizgisini hatırlarsınız.

Giriş kapısı (Input Gate): “Bu yeni bilginin ne kadarını kaydetmeliyim?” Yeni girdinin hücre durumuna ne ölçüde ekleneceğine karar verir. Her gelen kelime eşit önemde değildir — “ve” bağlacı çok az bilgi taşırken, “Fransa” ismi kritik bir bilgidir.

Çıkış kapısı (Output Gate): “Şu an ne kadarını dışarı vermeliyim?” Hücre durumundaki bilginin ne kadarının bir sonraki adıma aktarılacağına karar verir. Bazen tüm bilgiyi kullanmak gerekmez — bir çeviri görevinde, kaynak cümlenin tamamını işledikten sonra çıktı üretmeye başlarsınız.

Kapıların Matematiği

Her kapı, esasında 0 ile 1 arasında değerler üreten bir sigmoid fonksiyonudur. 0, “bunu tamamen unut” demektir; 1, “bunu tamamen koru” demektir. Bu kapılar, eğitim sırasında hangi bilginin ne kadar süre korunması gerektiğini veriden öğrenir.

Hücre durumu, LSTM’in “otoyolu”dur: bilgi bu hat üzerinden minimum müdahaleyle akabilir. Kapılar, bu otoyola girişi ve çıkışı kontrol eden trafik ışıklarıdır. Bu tasarım sayesinde gradyanlar, hücre durumu üzerinden uzun mesafelere neredeyse bozulmadan yayılabilir — kaybolan gradyan problemi büyük ölçüde çözülmüş olur.

LSTM’in Etkisi

LSTM’in etkisi muazzam oldu. 1997'deki orijinal makaleden sonra, özellikle 2010'ların ortasında derin öğrenme devrimiyle birlikte LSTM, NLP’nin fiili standardı haline geldi:

Makine çevirisi: Sutskever, Vinyals ve Le’nin 2014'teki “Sequence to Sequence Learning with Neural Networks” çalışması, iki LSTM’i — biri encoder, diğeri decoder — birleştirerek modern sinir ağı tabanlı çevirinin temelini attı. Bu mimari, Google Translate’in 2016'da tüm altyapısını sinir ağına geçirmesine yol açtı.

Konuşma tanıma: Apple’ın Siri’si, Google’ın sesli asistanı ve Amazon’un Alexa’sı, LSTM tabanlı modeller kullanıyordu.

Metin üretimi: İlk gerçekçi metin üretimi LSTM’lerle yapıldı. Andrej Karpathy’nin 2015'teki ünlü blog yazısı “The Unreasonable Effectiveness of Recurrent Neural Networks”, LSTM’lerin Shakespeare tarzında metin, Linux çekirdek kodu ve hatta LaTeX formatında sahte akademik makaleler üretebileceğini göstererek büyük yankı uyandırdı.

Duygu analizi ve metin sınıflandırma: Bölüm 3'te tartıştığımız görevlerde, LSTM tabanlı modeller geleneksel yöntemlere göre belirgin iyileşmeler sağladı.

5. GRU: LSTM’in Minimalist Kardeşi

2014'te Kyunghyun Cho ve arkadaşları, LSTM’in daha basit bir varyantını önerdi: GRU (Gated Recurrent Unit). GRU, LSTM’in üç kapısını ikiye indirdi — “güncelleme kapısı” ve “sıfırlama kapısı” — ve ayrı bir hücre durumu kullanmadı. Bu, daha az parametre ve daha hızlı eğitim demekti.

LSTM mi yoksa GRU mu daha iyi? Bu soru, NLP topluluğunda uzun süre tartışıldı. 2014'te Chung, Gulcehre, Cho ve Bengio’nun kapsamlı karşılaştırma çalışması şaşırtıcı bir sonuç ortaya koydu: hiçbiri diğerinden tutarlı biçimde üstün değildi. Performans farkı görev ve veri setine bağlı olarak değişiyordu. Genel eğilim, küçük veri setlerinde GRU’nun (daha az parametre, daha az overfitting riski), büyük veri setlerinde LSTM’in (daha fazla ifade kapasitesi) avantajlı olmasıydı.

Bu bulgu, pratik bir ders taşır: her zaman en karmaşık modeli seçmek gerekmez. Basitlik, çoğu zaman karmaşıklık kadar değerlidir.

6. Çift Yönlü RNN: Hem Geçmiş Hem Gelecek

Standart RNN yalnızca soldan sağa — geçmişten geleceğe — okur. Ancak dilde anlam her zaman soldan sağa akmaz. “Onu çok _______ bir insan olarak tanırım” cümlesinde boşluğu doldurmak için hem önceki (“onu”) hem sonraki (“insan olarak tanırım”) bağlama ihtiyaç vardır.

2005'te Graves ve Schmidhuber, çift yönlü RNN (Bidirectional RNN) kavramını kapsamlı biçimde geliştirdi: iki ayrı RNN — biri soldan sağa, diğeri sağdan sola — aynı anda çalışır ve çıktıları birleştirilir. Bu, her pozisyonun hem geçmiş hem gelecek bağlamından bilgi almasını sağlar.

Çift yönlü LSTM, özellikle NER ve POS tagging gibi etiketleme görevlerinde büyük iyileşmeler sağladı. Bölüm 3'te tartıştığımız bu görevlerde, bir kelimenin etiketini belirlemek için hem önceki hem sonraki kelimelere bakmak gerekir.

Bu fikir, BERT’in tasarımına doğrudan ilham kaynağı olmuştur. BERT’in “Bidirectional” sıfatı, tam da bu ilkeden gelir — ancak BERT bunu RNN yerine Transformer attention ile gerçekleştirir. Bölüm 5'te bu bağlantıyı detaylıca ele alacağız.

7. Seq2Seq ve Attention’ın Doğuşu

LSTM’in en etkili uygulama alanlarından biri sequence-to-sequence (seq2seq) mimarisiydi. 2014'te Sutskever, Vinyals ve Le (Google), bir LSTM encoder’ın girdi dizisini sabit boyutlu bir vektöre sıkıştırmasını ve bir LSTM decoder’ın bu vektörden çıktı dizisini üretmesini önerdiler. Bu mimari, makine çevirisinde çığır açtı.

Ancak seq2seq’in kritik bir darboğazı vardı: tüm girdi dizisi, tek bir sabit boyutlu vektöre — “bağlam vektörü” — sıkıştırılmalıydı. 10 kelimelik bir cümle için bu yeterliydi, ama 50 kelimelik bir paragrafı tek bir vektöre sığdırmak bilgi kaybına yol açıyordu. Bunu, bir romanın tamamını tek bir cümleye özetlemeye benzetebiliriz — ana fikir korunur ama detaylar kaybolur.

Bu darboğazı 2014'te Dzmitry Bahdanau, KyungHyun Cho ve Yoshua Bengio çözdü. “Neural Machine Translation by Jointly Learning to Align and Translate” başlıklı çalışmalarında attention mekanizmasını tanıttılar. Temel fikir şuydu: decoder, çıktı üretirken encoder’ın tüm gizli durumlarına erişsin ve her adımda hangilerine daha çok “dikkat etmesi” gerektiğini öğrensin.

Örneğin, İngilizce’den Türkçe’ye çeviri yaparken “the cat sat on the mat” cümlesinin Türkçe karşılığı olan “kedi paspasın üzerinde oturdu” üretilirken, “kedi” kelimesini üretirken attention “cat” kelimesine, “oturdu” kelimesini üretirken “sat” kelimesine yoğunlaşır. Bu, encoder’ın tüm bilgisini tek bir vektöre sıkıştırmak yerine, her adımda en ilgili bilgiyi seçerek kullanmak demektir.

Bahdanau attention mekanizması, NLP tarihindeki en önemli ara keşiflerden biridir. Transformer’ın self-attention’ı doğrudan bu fikrin genelleştirilmiş ve basitleştirilmiş halidir. “Attention Is All You Need” makalesinin başlığı, aslında “attention’ın RNN’e ihtiyacı yok — kendi başına yeterli” mesajını taşır.

8. RNN/LSTM’in Kalıcı Sınırlamaları

LSTM, kaybolan gradyan problemini büyük ölçüde çözdü ama RNN paradigmasının daha derin yapısal sınırlamaları devam etti:

Sıralı işleme darboğazı: RNN/LSTM, doğaları gereği sıralıdır. 10. kelimeyi işlemek için önce 9'unu işlemelisiniz. Bu, GPU’ların paralel hesaplama gücünden yararlanmayı imkânsız kılar. 2017 itibarıyla GPU’lar binlerce işlemi eş zamanlı olarak gerçekleştirebiliyordu — ama RNN bunu kullanamıyordu. Eğitim süreleri gereksiz yere uzuyordu.

Pratik mesafe sınırı: LSTM, standart RNN’den çok daha uzun bağımlılıkları öğrenebilir — 10–15 kelime yerine 100–200 kelime. Ama bu hâlâ sınırlıdır. Bir kitabın 3. bölümündeki bir referansı 7. bölümde hatırlamak, LSTM için de zorludur. Hücre durumu bilgiyi korur ama mükemmel değildir; uzun dizilerde bilgi yavaşça aşınır.

Hesaplama verimsizliği: Çift yönlü LSTM’lerde iki ayrı geçiş (ileri ve geri) yapılması gerekir. Attention eklendiğinde hesaplama daha da artar. Bu katmanlı karmaşıklık, modellerin eğitimini ve çıkarımını yavaşlatır.

Bu sınırlamalar, 2017'de Vaswani ve arkadaşlarının sorduğu radikal soruya zemin hazırladı: “Ya recurrence’ı tamamen kaldırsak? Ya attention tek başına yeterli olsa?”

9. RNN’den Transformer’a: Paradigma Değişiminin Anatomisi

RNN/LSTM’den Transformer’a geçiş, yalnızca bir teknik iyileştirme değil, bir düşünce biçimi değişikliğidir. Bu değişikliği anlamak, NLP’nin evrimini kavramanın anahtarıdır.

RNN paradigması: Dili, bir nehirde akan su gibi sıralı bir süreç olarak modeller. Her kelime, kendinden önce gelenlerin birikimini taşır. Bu, insan okuma deneyimine sezgisel olarak uygundur — biz de cümleleri soldan sağa okuruz. Ancak bu sezgisel uygunluk, hesaplama açısından ciddi bir engeldir.

Transformer paradigması: Dili, tüm kelimelerin birbirleriyle ilişkide olduğu bir ağ olarak modeller. Sıralı okuma yerine, tüm cümleye aynı anda bakar ve her kelimenin diğer her kelimeyle ilişkisini hesaplar. Bu, insan okuma deneyimine daha az benzer ama hesaplama açısından çok daha verimlidir — ve sonuçları çok daha iyidir.

Bir analoji düşünebiliriz: RNN, bir kitabı sayfa sayfa okuyan ve her sayfadaki bilgiyi belleğinde tutmaya çalışan bir okuyucudur. Transformer ise tüm sayfaları bir duvara asan ve aralarındaki bağlantıları çizerek anlayan bir araştırmacıdır. İkinci yöntem, özellikle sayfalar arasındaki uzun mesafeli bağlantıları bulmada çok daha etkilidir.

Ancak burada tarihsel bir adalet gerekir: Transformer, boşluktan doğmadı. Attention mekanizması Bahdanau’nun seq2seq üzerine yaptığı çalışmadan geldi. Encoder-decoder yapısı, Sutskever’in LSTM tabanlı seq2seq mimarisinden miras alındı. Pozisyonel kodlama, RNN’in doğal olarak sağladığı sıra bilgisini telafi etmek için eklendi. Transformer, RNN/LSTM geleneğinin omuzlarında yükseldi — ve sonra o geleneği aştı.

10. RNN ve LSTM Bugün: Hâlâ Geçerli mi?

Transformer’ların baskınlığına rağmen, RNN ve LSTM tamamen ortadan kalkmadı. Bazı senaryolarda hâlâ değerli araçlardır:

Gerçek zamanlı zaman serisi: Finansal veriler, sensör akışları, IoT sinyalleri gibi sürekli akan verilerde, LSTM’in “bir seferde bir adım” işleme doğası doğal bir uyumdur.

Kaynak kısıtlı ortamlar: Transformer’ların O(n²) bellek karmaşıklığına karşı, RNN’in O(1) bellek kullanımı (sabit gizli durum boyutu) mobil cihazlar ve gömülü sistemlerde avantajdır.

Eğitim verisi sınırlı görevler: Transformer’lar veri açlarıdır — güçleri büyük veri setlerinden gelir. Küçük veri setlerinde, daha az parametreye sahip LSTM modelleri daha iyi genelleyebilir.

Ayrıca yeni hibrit yaklaşımlar da ortaya çıkmaktadır. 2023'te Gu ve Dao’nun önerdiği Mamba mimarisi, seçici durum uzayı modelleri (selective state space models) ile recurrence fikrini modern bir çerçevede yeniden canlandırdı — sıralı işlemenin avantajlarını, paralel eğitimin verimliliğiyle birleştirerek. Bu, RNN ruhunun tamamen ölmediğinin, yalnızca dönüştüğünün bir kanıtıdır.

Sonuç: Nehirden Ağa

Marcus Aurelius zamanı bir nehre benzetmişti — yalnızca içinde bulunduğumuz anı görebildiğimiz, sürekli akan bir nehir. RNN ve LSTM, NLP’ye tam da bu nehir metaforunu getirdi: dili sıralı bir akış olarak modelleyerek, ilk kez kelimelerin birbirleriyle olan zamansal ilişkilerini yakaladılar.

Bu yolculuğun her adımı bir öncekinin sınırlamasına yanıt olarak doğdu: standart sinir ağları sırayı görmezden geliyordu → RNN geri besleme döngüsü ekledi → kaybolan gradyan bilgiyi siliyordu → LSTM kapılarla bilgiyi korumayı öğretti → sıralı işleme paralelliği engelliyordu → attention mekanizması doğdu → ve sonunda Transformer, “ya recurrence’ı tamamen kaldırsak?” sorusunu sordu.

Bölüm 5'te bu sorunun cevabını detaylıca ele alacağız: self-attention’dan BERT’e, ölçek devriminden enerji tartışmalarına, “Attention Is All You Need” makalesinin NLP’yi nasıl kökten dönüştürdüğüne kadar. Ama Transformer’ı anlamak, onun hangi sorunları çözmek için doğduğunu bilmekle başlar — ve bu sorunlar, RNN ve LSTM’in hikâyesinde saklıdır.

Kaynaklar

• Elman, J.L. (1990). “Finding Structure in Time.” Cognitive Science, 14(2), 179–211. — İlk RNN formülasyonu.
• Bengio, Y., Simard, P. & Frasconi, P. (1994). “Learning Long-Term Dependencies with Gradient Descent is Difficult.” IEEE Transactions on Neural Networks, 5(2), 157–166. — Kaybolan gradyan probleminin matematiksel analizi.
• Hochreiter, S. & Schmidhuber, J. (1997). “Long Short-Term Memory.” Neural Computation, 9(8), 1735–1780. — LSTM mimarisinin orijinal makalesi.
• Cho, K., van Merrienboer, B., Gulcehre, C., et al. (2014). “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.” EMNLP. — GRU mimarisinin tanıtıldığı çalışma.
• Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). “Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling.” NeurIPS Workshop. — LSTM vs GRU karşılaştırması.
• Sutskever, I., Vinyals, O. & Le, Q.V. (2014). “Sequence to Sequence Learning with Neural Networks.” NeurIPS. — Seq2seq mimarisinin temel makalesi.
• Bahdanau, D., Cho, K. & Bengio, Y. (2014). “Neural Machine Translation by Jointly Learning to Align and Translate.” ICLR 2015. — Attention mekanizmasının NLP’ye tanıtılması.
• Graves, A. & Schmidhuber, J. (2005). “Framewise Phoneme Classification with Bidirectional LSTM and Other Neural Network Architectures.” Neural Networks, 18(5–6), 602–610. — Bidirectional RNN/LSTM.
• Karpathy, A. (2015). “The Unreasonable Effectiveness of Recurrent Neural Networks.” Blog yazısı.
• Gu, A. & Dao, T. (2023). “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” — RNN ruhunun modern yeniden yorumlanması.
• Jurafsky, D. & Martin, J.H. (2025). Speech and Language Processing (3rd ed.) — Bölüm 9: RNNs and LSTMs.

Sonraki yazı: Bölüm 5 — Transformer Mimarisi — Attention mekanizması, Multi-Head Attention, BERT ve bağlamsal embedding’ler.

---

Doğal Dil İşleme (NLP) Yazı Dizisi — Bölüm 4: RNN ve LSTM was originally published in Kariyer.net Tech on Medium, where people are continuing the conversation by highlighting and responding to this story.

---

Bu yazı ilk olarak Medium'da yayımlandı.