Embedding’ler Yeterince Değer Görmüyor (2024)

• Embedding’ler, son dönemde teknik yazım alanında devrim niteliğinde gelişme potansiyeli sunuyor
• Girdi metninin boyutundan bağımsız olarak sabit boyutlu sayısal bir dizi döndürme özelliğine sahip
• Bu sayısal dizi sayesinde rastgele metinler arasında matematiksel karşılaştırma yapmak mümkün hale geliyor
• Embedding’ler, çok boyutlu uzayda metin anlamına göre mesafe hesaplıyor ve ilişkili öneriler, anlamsal analiz vb. pek çok kullanım sunuyor
• İleride teknik dokümantasyon sitelerinin embedding verilerini yayımlamasıyla yeni araçların ve topluluk kullanım senaryolarının yaygınlaşması bekleniyor

---

Makine öğrenimi tabanlı embedding teknolojisine genel bakış

• Makine öğrenimi teknolojilerinde, metin üretim modellerinden farklı olarak embedding’ler, teknik yazım üzerinde dönüştürücü bir etki yaratma potansiyeline sahip
• Son birkaç yılda embedding kullanımı çok daha erişilebilir hale geldi
• Embedding’ler sayesinde teknik yazarlar, farklı metinler arasında anlamsal karşılaştırma ve analiz yapabiliyor

Embedding’ler için sezgi geliştirmek

• Embedding’ler, metni (kelime, cümle, birden çok belge vb.) girdi olarak alıp sabit boyutlu bir sayısal dizi döndürüyor
• Girdi metninin uzunluğundan bağımsız olarak her zaman aynı boyutta dizi verisi üretiliyor
• Bu sayede farklı uzunluktaki rastgele metinler arasında bile matematiksel karşılaştırma olanağı doğuyor

Embedding üretme yöntemi

• Başlıca hizmet sağlayıcılar üzerinden yalnızca birkaç satır kodla embedding üretilebiliyor
• Kullanılan modele göre embedding dizisinin boyutu değişiyor; Gemini için 768, Voyage AI için ise 1024 sayı döndürülüyor
• Sağlayıcıya veya modele göre embedding’lerin anlamı tamamen değiştiği için karşılıklı uyumluluk bulunmuyor

Maliyet ve çevresel etki

• Embedding üretiminin kendisi yüksek maliyetli değil
• Üretim sürecinin, metin üretim modellerine kıyasla daha az hesaplama kaynağı tükettiği tahmin ediliyor; ancak çevresel etki için ileride daha fazla bilgiye ihtiyaç var

Embedding modeli seçme ölçütleri

• En uygun model, büyük hacimli girdi verisini destekleme kapasitesine göre değişiyor
• Voyage AI’nin voyage-3 modeli, 2024 itibarıyla en yüksek girdi sınırını sunuyor
• Kullanım amacı ve gereksinimlere uygun modelin seçilmesi önemli

Çok boyutlu uzay kavramı

• Embedding sayısal dizisindeki her değer, çok boyutlu uzaydaki bir koordinata karşılık gelir ve metnin özellikleri bu uzaydaki anlamsal konumuyla ifade edilir
• Örneğin king - man + woman ≈ queen gibi işlemler, anlamsal ilişkilerin ifade edilebildiğini gösterir
• Embedding uzayındaki her boyutun özelliği çoğunlukla belirsiz ve soyuttur
• Bu süreç sayesinde makinenin anlam öğrenmesi ve metin anlamını çıkarımlaması mümkün hale gelir

Embedding’leri karşılaştırma ve saklama

• Üretilen embedding’ler, her metin (ör. sayfa vb.) için veritabanı gibi yerlere kaydedilir
• İki embedding arasındaki matematiksel mesafe hesaplaması (lineer cebir kullanarak) ile anlamsal benzerlik değerlendirilebilir
• NumPy, scikit-learn gibi kütüphaneler kullanılarak karmaşık formülleri uygulama yükü azalır

Embedding’lerin uygulama örnekleri

• Teknik dokümantasyon sitelerinde ilgili sayfa öneri özelliğinde embedding’ler etkili biçimde kullanılır
• Her sayfa için embedding üretildikten sonra, sayısal benzerliği yüksek sayfalar arasında anlamsal olarak ilişkili belge önerileri yapılabilir
• Sayfa içeriği her değiştiğinde yalnızca embedding’i yenilemek yeterli olduğundan verimliliği oldukça yüksektir
• Gerçek [Sphinx] dokümantasyonunda uygulanması sonucunda olumlu performans görüldü

Topluluk ve açık veri olasılığı

• Gelecekte dokümantasyon siteleri, REST API veya well-known URI’ler üzerinden embedding verisi sunabilir
• Böylece topluluk, çeşitli uygulama araçları ve hizmetler geliştirebilir

Son söz

• Yüzlerce boyutlu uzay kavramını günlük işle ilişkilendirebilmek ilgi çekici
• Embedding’lerin benimsenmesiyle dokümantasyon bakımı ve özellik genişletme gibi alanlarda çığır açıcı ilerlemeler beklenebilir