Entropi Nedir?

 (johncarlosbaez.wordpress.com)
2 puan yazan GN⁺ 2024-07-24 | 1 yorum | WhatsApp'ta paylaş
  • Entropiyi ilke olarak bilebileceğimiz ama henüz bilmediğimiz bilgi miktarı olarak nicelleştirmeye çalışan kısa bir kitap taslağı
  • Oda sıcaklığı ve atmosfer basıncındaki hidrojen gazının, molekül başına yaklaşık 23 bit bilinmeyen bilgiye karşılık gelen bir entropiye neden sahip olduğunu temel bilmece olarak ele alıyor
  • Shannon entropisi ve Gibbs entropisinden başlayıp maksimum entropi ilkesi, Boltzmann dağılımı, sıcaklık, bölüşüm fonksiyonu ve serbest enerjiye kadar uzanıyor
  • Termodinamiğin ikinci yasası, biyoloji ve kara delik fiziğini bilinçli olarak derinlemesine ele almıyor; ayrıca entropiyi düzensizlik olarak açıklamıyor
  • Klasik sistemlerin entropisini hesaplamaya çalışırken bile, konum-momentum uzayındaki hacim birimi nedeniyle Planck sabiti ve bir miktar kuantum mekaniği gerekiyor

Kitabın biçimi ve çıkış noktası

  • What is Entropy?, entropiyi ele alan kısa bir kitabın mevcut taslağı
  • Asıl alternatif başlık 92 Tweets on Entropy idi, ancak zaman geçince insanların “tweets”in ne olduğunu hatırlamayabileceği düşünülerek uygun bulunmadı
  • Twitter'da kısa mesaj biçiminde yürütülen entropi derslerinin biraz genişletilmiş bir versiyonu

Entropinin bilgi olarak tanımı

  • Entropi, bir durum hakkında henüz bilmediğimiz bilgi miktarı anlamına geliyor
    • Bu bilgi ilke olarak öğrenilebilir olmalı
    • Kitap, bu fikri kesin ve nicel bir kavrama dönüştürmeye odaklanıyor
  • Merkezdeki soru şu: Oda sıcaklığı ve atmosfer basıncındaki hidrojen gazı neden molekül başına yaklaşık 23 bit bilinmeyen bilgiye karşılık gelen bir entropiye sahip?

Bilmecenin çözümü için bağlanan kavramlar

  • Bilgi ve entropi

    • Bilgi kavramından başlayarak Shannon entropisi ve Gibbs entropisi ele alınıyor
    • Maksimum entropi ilkesi ve Boltzmann dağılımı üzerinden olasılıksal durumların nasıl ele alınacağı açıklanıyor

  • Sıcaklık, enerji ve bölüşüm fonksiyonu

    • Sıcaklık ve soğukluk (coolness) ile entropi ve beklenen enerji arasındaki ilişki bağlanıyor
    • Eşbölüşüm teoremi, bölüşüm fonksiyonu, beklenen enerji ve serbest enerjinin entropi hesabına nasıl karıştığı ele alınıyor

  • Klasik sistem örnekleri

    • Klasik harmonik osilatörün entropisi
    • Bir kutu içindeki klasik parçacıkların entropisi
    • Klasik ideal gazın entropisi

Bilinçli olarak ele alınmayan konular

  • Termodinamiğin ikinci yasası neredeyse hiç ele alınmıyor
    • Entropinin her zaman arttığı hikâyesi ilginç olsa da çok sayıda sorun barındırıyor; bunu düzgün anlatmak için ayrı bir kitap gerektiği düşünülüyor
  • Biyolojide ve kara delik fiziğinde entropinin oynadığı rol de dışarıda bırakılıyor
  • Popüler fizik kitaplarında sık işlenen entropi yönleri bu kitabın kapsamı dışında
  • Entropiye 'düzensizlik' denmiyor

Klasik fizikte de gereken Planck sabiti

  • Fizik ön bilgisini düşük tutmak için kuantum mekaniği açıklamaları mümkün olduğunca azaltılıyor
  • Ancak üç klasik sistemin entropi formüllerinde de Planck sabiti ortaya çıkıyor
    • Planck sabiti, konum-momentum uzayında hacim birimi sağlıyor
    • Bu hacim birimi olmadan bu sistemlerin entropisi tanımlanamıyor
  • Hidrojen gazını olabildiğince klasik biçimde ele alsanız bile, iyi bir yaklaşık entropi formülü elde etmek için çok az miktarda kuantum mekaniği gerekiyor

Matematiksel karakteri ve okuma biçimi

  • Kitap, matematiksel fizikçi üslubuyla kavramları kesinleştiriyor ve sıra dışı karşı örnekleri incelemeye çok zaman ayırıyor
  • Gerçek çalışan fizikçilere kıyasla teknik ayrıntılar üzerinde daha uzun kalabiliyor
  • Teknik içerik fazla ağır gelirse bir sonraki “tweet”e geçilebilir
  • Gerçekten önemli içerikler kutuların içinde yer alıyor
  • Sonuna kadar okuyup ardından ayrıntıları yeniden öğrenmek de mümkün

İlgili okumalar

1 yorum

 
GN⁺ 2024-07-24
Hacker News yorumları

  • Shannon’ın aktardığı ünlü bir anekdot var: “En çok düşündüğüm şey isimdi. Buna ‘bilgi’ demeyi düşündüm ama bu çok kullanılan bir kelimeydi, bu yüzden ‘belirsizlik’ demeye karar verdim. John von Neumann ile konuştuğumda daha iyi bir fikir ortaya attı. Von Neumann, ‘Buna entropi deyin. Birincisi, sizin belirsizlik fonksiyonunuz istatistiksel mekanikte zaten bu adla kullanılıyor, yani zaten bir adı var. İkincisi ve daha önemlisi, entropinin gerçekten ne olduğunu kimse bilmiyor, bu yüzden tartışmalarda her zaman avantajlı olursunuz’ dedi”
    Shannon’ın entropisi ile termodinamikteki entropinin aynı şey olup olmadığına dair tartışma ve kaynaklar bu MathOverflow SE yanıtlarında görülebilir (https://mathoverflow.net/questions/403036/john-von-neumanns-...)

  • Shannon entropisini öznel bir nicelik, yani gözlemlenen şeyin değil, gözlemcinin bir özelliği olarak anladıktan sonra ancak gerçekten kavradığımı hissettim
    X değişkeninin entropisi, gözlemcinin X’in değeri hakkındaki belirsizliğini 0’a indirmek için gereken bilgi miktarıdır. Dolayısıyla aynı X değişkeni için benim belirsizliğimle başka birinin belirsizliği farklı olabilir. Her birimiz X hakkında farklı bilgi almış olabiliriz; bu da doğaldır. H(X), H_{observer}(X), hatta H_{observer, time}(X) olmalıdır. Shannon’ın çalışması başka açılardan açık olsa da bu kısmı biraz geçiştiriyor

    • Entropinin öznel mi nesnel mi olduğunu tartışırken sıkça gözden kaçan nokta şu: biraz daha derine inildiğinde bilgi teorisi, nesnel olanla öznel olanı bağlayan güçlü bir araç sunar
      İki dağılımın çapraz entropisine bakalım: H[p, q] = -Σ p_i log q_i. Örneğin p, zarı gerçekten attığımızda sonuçların fiili frekans dağılımı olabilir; q ise benim inandığım dağılım olabilir. p_i nesnel olasılık, q_i ise öznel olasılık olarak görülebilir. Çapraz entropi, bir sonucu gözlemlediğinizde ortalama olarak ne kadar şaşırdığınızı ölçen bir değere yakındır
      İlginç olan, H[p, p] <= H[p, q] olmasıdır. İnanç dağılımı yanlışsa, doğru inanç q=p olduğundaki duruma kıyasla çapraz entropi daha büyük olur. Bu, logaritmanın konkavlığı nedeniyle garanti edilir. Bu sayede inançları karşılaştırabilirsiniz: hangi q, H[p,q] değerini en aza indiriyorsa o q gerçeğe daha yakındır
      Çapraz entropi ayrıca H[p, q] = H[p] + D[q||p] gibi iki parçaya da ayrılabilir. İlk terim p’nin entropisidir; modellemeye çalıştığınız olgunun kendisindeki içsel rastgelelik, yani aleatorik belirsizliktir. İkinci terim ise KL ayrışımıdır; yanlış inanç yüzünden eklenen belirsizliği, yani epistemik belirsizliği gösterir
    • Bu, entropinin kendisini gözlemciye bağlı hale getirmez. Shannon entropisi, dağılımın bir özelliğidir
      Farklı gözlemcilerin inançlarını ölçerken aslında sadece farklı dağılımlara bakıyorsunuzdur; bu dağılımların ortalama ya da varyanslarının farklı olabilmesi gibi, entropileri de farklı olabilir
    • Basit bir örnek olarak, sözde rastgele sayı üretecinin seed’ini biliyorsanız, o üretecin oluşturduğu dizinin entropisi çok düşüktür
      Ama seed’i bilmiyorsanız entropi çok yüksektir
    • Aynı anlayışı kısa söylemek gerekirse, “entropi, sadece sahip olmadığım bitler için kullanılan addır”
      entropi + bilgi = tam bir betimlemede gereken toplam bit sayısı
    • Bu nesnel bir niceliktir, ama bu niceliğin neyi betimlediğini çok kesin ifade etmek gerekir
      Kırılmamış bir yumurta düşük entropilidir. Yumurtanın kırılmamış halde bulunmasının tek bir yolu vardır ve yumurtanın durumunu 1 bit ile de ifade edebilirsiniz
      Kırılmış bir yumurta yüksek entropilidir. Kırık parçaların yerleşebileceği keyfi olarak çok sayıda yol vardır
      Her bir kırık yumurta parçasının konumu ve yönelimini enlem, boylam, pusula yönü sırasıyla listelenmiş bir kayıt ise yeniden düşük entropilidir. Belirli bir kırılmış yumurta örneği için bu liste yalnızca tek bir şekilde yazılabilir
      O listeyi zip ile sıkıştırırsanız yeniden yüksek entropili olur. .zip dosyasının içindeki veri fiilen rastgele görünür ve daha fazla sıkıştırılamaz. Tekrar açana kadar durum böyledir
      Benzer şekilde, sıkıştırılmamış listeyi bant genişliği kısıtlı bir kanaldan göndermeniz gerekiyorsa, alıcı içerik hakkında hiçbir varsayım yapamayacağından, yapı olsa bile bu onun için rastgeleden farksızdır ve entropi fiilen yeniden yükselir

  • İstatistiksel mekanik hocamın kullandığı yaklaşımı gerçekten çok sevmiştim. Neredeyse her durumda entropi, sonuçta sistemi düzenleyebileceğiniz yol sayısının logaritmasıdır (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
    Kişisel olarak bunu iki zarın sonuç çifti üzerinden düşünmek en kolayıydı

    • Bu bakış açısını seviyorum ama buna, “düzenleyebileceğiniz yollar” ifadesinin, makroskopik özellikleri değiştirmeden düzenlenebilecek yolların sayısı olduğu açıklaması eklenmeli
      Ne yazık ki Shannon’ın kullanımına, çok yüzeysel bir anlam dışında, pek uymuyor; bu yüzden bu yorum fizik alanında sağlam biçimde yerleşmiş durumda
    • “Düzenlenebilir” kısmı işin zor tarafı. Örneğin kombinatorik olarak var olsa bile, bağlam gereği bazı durumların imkânsız olduğunu, yani olasılık dağılımının 0 olduğunu biliyor olabilirsiniz. O zaman benim için geçerli olan entropi değişir
      Bu yüzden bilgi ile entropi aynı şey değildir. Entropi, bilmediğimi bildiğim şeydir. Bilinmeyenin büyüklüğüne dair bu bilgiyi nicelleştirmektir
      Yazıda hatalı ya da yeterince özlü olmadığını düşündüğüm nokta da burası. Aşağıdaki ifade bana göre entropi olmayan, ‘bilmediğini de bilmemeyi’ de kapsıyor:

      I claim it’s the amount of information we don’t know about a situation

    • Bu sayfadaki grafiğe bazen uzun uzun bakıp kalıyorum
      https://en.wikipedia.org/wiki/Thermodynamic_beta
    • Buna “sistemi tanımlamak için gereken bit sayısı” da denebilir. Örneğin eşit olasılıklı 2^N durum varsa, her durumu açıklamak için N bit gerekir)

  • Bilgi kuramında entropiyi hep şöyle düşünmüşümdür: “Gerçekten akıllı bir sıkıştırma algoritması olsaydı, bu dosyayı tam olarak ifade etmek için kaç bit gerekirdi?”
    Yani tekrarın bol olduğu girdilerde bit başına entropi yüksek değildir, bu yüzden iyi sıkıştırılır. Modern sıkıştırma algoritmaları çoğu veri türünde yeterince iyidir; dolayısıyla gerçek entropinin makul bir yaklaşık değeri olarak kullanılabilir

  • Ayrık olasılık dağılımının entropisi için bu tür pratik açıklamayı seviyorum. John Baez’in yazısını seviyorum ama PDF’ye göz atınca bu bakış açısını ele almıyor gibi görünmesi beni şaşırttı
    Dağılımı, çeşitli aralıklara ait bir histogram gibi düşünelim. O zaman entropi, çok sayıda topu rastgele bu aralıklara attığımda, topların dağılımının o histogram gibi görünme olasılığını ölçen değerdir. Normalde beklenen şey aralıklar üzerinde düzgün dağılımdır; dolayısıyla entropi, başka nadir olayların, olasılık kuramı terimleriyle tipik davranıştan büyük sapmaların, ne kadar meydana geleceğini ölçer
    Daha somut olarak, P = (P1, ..., Pk) bir dağılım olsun; N çok büyükken N top atıldığında P gibi görünen bir histogram çıkma olasılığı kabaca 2^(-N * [log(k) - H(P)]) olur. Burada H(P) entropidir. P düzgün dağılım ise H(P)=log(k) olur; böylece üst 0’a iner ve tahmin 1 olur; bu da açık ara en olası histogramın düzgün dağılım olduğu anlamına gelir
    Bu mümkün olan en büyük entropidir; dolayısıyla diğer histogramlar, bir c > 0 için, 2^(-c*N) olasılıkla ortaya çıkar; yani çok nadirdirler ve daha fazla top attıkça üstel olarak daha da nadir hale gelirler. Entropi bunun derecesini ölçer. “Daha az düzgün” dağılımlar daha az olası olduğundan, entropi bir anlamda düzgünlüğü de ölçer. Büyük sapmalar kuramında bu somut önerme Sanov teoremi diye anılır ve entropinin üstlendiği rol “rate function”dır
    İnsanların sözünü ettiği entropinin şiddet yorumu da yüksek düzeyde bununla ilişkilidir. Sanov teoreminde olasılık, “P gibi görünen” sonuçların sayısının toplam sonuç sayısına bölünmesidir; pay kısmı ise belirli bir özelliğe, bu durumda top ve aralık yerleşiminin P gibi görünmesi özelliğine, sahip konfigürasyonların sayısını sayar
    Eşdeğer birçok tanım var ve her birinin farklı avantajları ve genellemeleri bulunuyor; ama bu bakış açısı, özellikle entropi etrafındaki gizem havasını dağıtmaya yardımcı oluyor

    • Burada kastedilen şey belki de göreli entropi ~ rate function ~ KL ayrışması idi. Buradaki makine öğrenmesi insanlarına daha tanıdık gelebilir ve Sanov ya da büyük sapmalara merak uyandırmak için iyi olabilir

  • PBS Spacetime’ın entropi oynatma listesi: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...

  • Bilgi entropisi, kelimenin tam anlamıyla, bu bilgiyi üreten olasılık dağılımı bilindiğinde bilginin ne kadar verimli iletilebileceğine, yani iletim bit sayısının beklenen değerine ilişkin sıkı bir alt sınırdır
    Bit dizilerinin ya da İngilizcenin bilgi entropisini hesaplama bağlamında da yapılan şey, 0 ve 1’lerin, karakterlerin, n-gram’ların vb. göreli sıklıklarından veriye dayalı deneysel bir olasılık dağılımı oluşturup sonra o dağılımın entropisini hesaplamaktır. Baez’in tanımını çok sevdiğimi söyleyemem ama otoritesini düşününce kolayca itiraz etmek de zor

  • “Termodinamiğin ikinci yasasından, yani entropinin her zaman arttığı iddiasından büyük ölçüde kaçındım. İlginç ama o kadar çetrefilli ki, düzgünce açıklamak için ayrı bir kitap gerekir!”
    İlgilenirseniz, Arieh Ben-Naim’in Entropy Demystified kitabını okuyorum; bu yönü neredeyse aynı doğrultuda ele alıyor

  • Yeni entropi/rastgeleliğin nereden geldiğini bazen düşünüyorum. Evrenin en erken durumunu, genişlemiş sonsuz yoğunlukta bir nokta parçacık olarak görürsek, onun düzgün olmayan biçimde genişlemesine yol açan bir tür rastgelelik ya da çeşitlilik var olmuş olmalı; maddeyi antimaddeden baskın kılan ya da galaksilerin ve kümelerin oluşmasını sağlayan da bu olmalıydı
    Belirli durağan parçacıkları olan yalıtılmış bir sistem düşünürsek, bu parçacıkların küçük bir alt kümesinin harekete geçip entropi getirmesi mümkün olabilir mi? Entropi en azından kuantum düzeyinde kendiliğinden türeyebilir mi? Bunu açıklayabilsek, evrenin kökenini daha iyi anlamaya yardımcı olabilir gibi görünüyor

    • Bunun büyük kısmının altında simetri kırılması denen genel olgu yatıyor
      Klasik örnek şöyledir. Kusursuz simetrili bir sombrero[1] olduğunu ve şapkanın tam tepesinde bir topun dengede durduğunu hayal edin. Topun düşmesi için tercih edilen bir yön yoktur ama bu durum kararsızdır. Herhangi bir pertürbasyon topun aşağı yuvarlanmasına neden olur ve top, şapkanın kenarında kararlı bir yerleşimde durur. Başlangıçtaki düzenin simetrisi artık kırılmıştır ama durum kararlıdır
      1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
    • Bu video benim için açıklayıcı olmuştu. Almanca ama otomatik altyazılar yardımcı olabilir:
      https://www.youtube.com/watch?v=hrJViSH6Klo
      Burada aradığınız rastgeleliğin kuantum dalgalanmalarından geldiği ve bu rastgelelik olmasaydı evrenin muhtemelen “gerçekleşmeyeceği” anlatılıyor