Temsil Mühendisliği: Mistral-7B'de Asit Yolculuğu

Representation Engineering Mistral-7B, Asit Yolculuğu

• Kontrol vektörü nedir?

  • Kontrol vektörü, çıkarım sırasında modele ekstra prompt eklemeden modelin davranışını kontrol etmeye yarayan bir vektördür (her katman için bir vektör listesi).
  • Aynı prompt ve modeli kullanarak, kontrol vektörünün uygulanıp uygulanmamasına ve büyüklüğüne göre farklı sonuçlar üretilir.

• Kontrol vektörü üretmek zor değildir

  • PCA kullanarak karşıt prompt çifti bir veri seti oluşturulur, model çalıştırılarak her katmandaki gizli durumlar toplanır ve tek bileşenli PCA ile her katman için kontrol vektörü elde edilir.
  • Bu işlem birkaç satır kod ve yaklaşık 1 dakikalık bir sürede tamamlanır.

• Kontrol vektörleriyle neler yapılabilir

  • Kontrol vektörleriyle yapay zekâ modelini 'asidik yolculuk' durumuna veya 'tembellik', 'çalışkanlık', 'yaratıcılık' gibi farklı durumlara ayarlayabilirsiniz.
  • Her kontrol vektörü yalnızca birkaç dakikada eğitilebilir ve GitHub’daki deney not defterleriyle doğrudan uygulanabilir.

• Kontrol vektörü vs prompt mühendisliği

  • Kontrol vektörü ve prompt mühendisliği farklı yaklaşımlardır, ancak bazı örtüşen yönleri vardır.
  • Kontrol vektörleri, prompt mühendisliğiyle kopyalanabilen sonuçlar üretebilir ancak etki şiddetini ayarlamak daha kolaydır.

GN⁺'nin görüşü

• Kontrol vektörlerinin önemi: Kontrol vektörleri, yapay zekâ modelinin davranışını ince ayarlarla kontrol etmeyi sağlayan güçlü bir araçtır ve prompt mühendisliğinin sınırlarının ötesine geçen yeni olanaklar sunar.
• Verimlilik ve erişilebilirlik: Kontrol vektörleri sayesinde kullanıcılar, karmaşık prompt dizileri kurmadan da model davranışını kolayca ayarlayabilir, bu da yapay zekâ kullanımını büyük ölçüde geliştirebilir.
• Yaratıcı kullanım: Kontrol vektörleriyle yapay zekâyı 'asidik yolculuk' durumuna getiren gibi yaratıcı deneyler, yapay zekâ araştırmalarında yeni bir deneysel yaklaşım boyutu kazandırabilir.

[GN⁺]

Hacker News yorumları

• Bu teknolojinin etkisinin inanılmaz olacağını düşündüğümden dolayı neredeyse çılgına dönmüş gibiyim. Tam olarak doğru anlamış olmayabilirim, ancak kişisel tercihlere daha yakın bir şekilde ChatGPT çıktısı ayarlayabilmek için kişiselleştirilmiş bir "kontrol vektörü"nün saklanması gerektiğini düşünüyor gibi görünüyor. Bu, kişiselleştirilmiş yapay zeka eğlencesine yol açabilir ve böyle bir piyasada hem bireysel hem de global olarak güçlü ağ etkileri yaratabilir. Bu da gelecekte tek bir dev şirketin bütün pazarı tekeline almasını işaret ediyor.
• Yazı iyi yazılmış ve ilgi çekici. LLM hakkında anlayış geliştirmek için hangi literatürü veya blog yazılarını öneriyorsun?
• Kontrol vektörü insan hormonlarını çağrıştırıyor. Model davranışının büyük bir bölümünü bir kerede ayarlıyor. On yıl içinde bir yapay zeka psikiyatristinin, bir yardımcınıza mutluluk kontrol vektörü takviyesi reçete ettiği bir şeyi görebileceğimizi düşünüyorum.
• LLM'lerin bu şekilde özetlenmesiyle ilk defa karşılaşıyorum ve bu yaklaşımı gerçekten beğendim.
• Bu makale ilginç ve son zamanlarda AI'nın tekdüze hâle geldiğini söyleyen "You Sound Like a Bot" gönderisine güzel bir karşılık sunuyor. Daha az ciddi bir açıdan bakarsak, "öz-farkındalık" vektörünü bulmanın insanlığa sorun çıkaracağını bilen bir bilimkurgucusuna önemli bir meydan okuma.
• Bu, önyargı ayarlamasına benziyor; LoRA'nın bir rakibi. Her doğrusal katman aktivasyonuna eklenen sadece vektörleryle iyi bir adaptör elde etmek için ince ayar yapılabilir.
• Makale gerçekten çok iyi. Neden kontrol vektörlerinin sinir ağının tüm katmanlarına entegre edildiği sorulmalı; her vektörün geçtiği tüm katmanları etkilemesi, veri temsillerinin aşırı çarpıtılmasına yol açma riski taşımıyor mu?
• Makale gerçekten çok iyi. Kontrol vektörü modelin davranışını değil, başkaları hakkındaki modelin yargısını değiştiriyor. Bu da aynı dürüstlük vektörünün, modelin dürüstçe veya dürüstçe davranmaması için istenmesini içeriyor.
• Çıkarsamada (her katmana bir şey eklenmesi), LoRA ile oldukça benzer bir durum var. Kontrol vektörlerini LoRA'ya kodlayıp mevcut çıkarım çerçeveleriyle büyük bir sorun olmaksızın kullanılabileceğini mi söyleyebilirim, yoksa anlayışım mı yanlış?
• Birden fazla vektörün aynı anda uygulanabilmesiyle ilgili merak var. Örneğin, halüsinatif ve üzgün, dürüst ve öz-farkındalıklı, tembel ve yaratıcı vektörlerin bir kombinasyonu gibi.