Pretrained modellerin gücünü kendi veri setine aktarma
Milyonlarca görüntü üzerinde haftalarca eğitilmiş devasa bir modelin bilgisini, sadece birkaç yüz örneğiniz olan kendi probleminize aktarabilirsiniz. Transfer learning, derin öğrenmenin en pratik ve güçlü tekniklerinden biridir — ImageNet'te kedileri tanımayı öğrenen bir model, röntgen filmlerindeki anormallikleri bulmakta da şaşırtıcı derecede başarılı olabilir.
Derin ağların ilk katmanları **kenarlar, dokular, şekiller** gibi evrensel özellikler öğre…
🎓Usta Ressam Analojisi
Yıllarca resim eğitimi almış bir sanatçı düşünün — perspektif, ışık-gölge, renk teorisi konularında ustalaşmış. Şimdi bu sanatçıya 'manga çiz' deseniz, sıfırdan başlayan birine göre çok daha hızlı öğrenir. Temel beceriler aktarılır, sadece stil adapte edilir. Transfer learning tam olarak budur.
Base modelin tüm katmanlarını **dondurursunuz** (requires_grad=False). Model artık sadece …
İki aşamalı strateji:…
EfficientNet-B0 ile transfer learning
| 1 | import torch |
| 2 | from torchvision.models import efficientnet_b0, EfficientNet_B0_Weights |
| 3 | |
| 4 | # Pretrained model yükle |
| 5 | model = efficientnet_b0(weights=EfficientNet_B0_Weights.DEFAULT) |
| 6 | |
| 7 | # Tüm parametreleri dondur |
| 8 | for param in model.parameters(): |
| 9 | param.requires_grad = False |
| 10 | |
| 11 | # Classifier başını değiştir (örn: 10 sınıf için) |
| 12 | num_classes = 10 |
| 13 | model.classifier[1] = torch.nn.Linear( |
| 14 | model.classifier[1].in_features, |
| 15 | num_classes |
| 16 | ) |
| 17 | # Yeni katman requires_grad=True ile gelir |
💡Fine-tuning yaparken base model için 10x-100x daha düşük learning rate kullanın. Örneğin: classifier için lr=1e-3, base için lr=1e-5.
Kaynak domain (ImageNet: doğal fotoğraflar) ile hedef domain (örn: tıbbi görüntüler) ne ka…
Feature Extraction
Fine-tuning
⚠️Catastrophic Forgetting: Tüm modeli yüksek learning rate ile eğitirseniz, ImageNet'te öğrenilen değerli özellikler silinir. Gradyan güncellemeleri orijinal ağırlıkları tamamen bozar — model hem eski hem yeni görevi yapamaz hale gelir.
**ResNet**: Klasik, stabil, her yerde çalışır…
✦ Quiz
100 eğitim örneğiniz var ve ImageNet'ten çok farklı bir domain'de (örn: mikroskop görüntüleri) çalışıyorsunuz. En iyi strateji hangisi?
✦ Quiz
Transfer learning'de ilk katmanların dondurulmasının temel nedeni nedir?
ℹ️GPT, BERT gibi dil modelleri de aynı mantıkla çalışır: devasa metin korpusunda pretrain, spesifik görevde fine-tune. Transfer learning sadece görüntülere özgü değil, modern AI'ın temel paradigmasıdır.
Bağlantılı Konular