Entropi nedir? Cehaletimizi ölçen bir ölçek
(quantamagazine.org)- Entropi, 200 yıl önce buhar makinesi verimliliğinin sınırlarını sorgulayan bir problemden doğdu; ancak modern fizikte dünyanın sabit bir özelliğinden çok, gözlemcinin bilmediği bilgiyi ölçen bir nicelik olarak yeniden yorumlanıyor
- Carnot, Clausius ve Boltzmann boyunca entropi; ısının işe dönüşemeyip dağılma derecesini, olası mikrodurumların sayısını ve zamanın neden tek yönde aktığını açıklayan bir kavram haline geldi
- Shannon ve Jaynes, entropiyi bilgi ve belirsizlik diline genişletti; Gibbs karışım paradoksu ise neyin ayırt edilebilir olduğunun, çıkarılabilir iş ile entropiyi değiştirebildiğini gösterdi
- Son araştırmalar, gözlemcinin sınırlı ölçüm, hafıza ve hesaplama kapasitesini matematiğe katmaya çalışıyor; gözlemsel entropi, bilgi motorları, kısmi gözlemli Szilard motoru ve kuantum termodinamiği deneyleri bu yönü araştırıyor
- Bu bakış açısında, kusursuz verim ve kusursuz öngörüden çok belirsizlik yönetimi önem kazanıyor; bilgi, enerji çıkarımı, karar verme ve küçük makinelerin sınırlarını belirleyen fiziksel bir kaynak olarak ele alınıyor
Buhar makinesi verimliliğinden doğan entropi
- Entropi kavramı, Sanayi Devrimi dönemindeki makine verimliliği probleminden doğdu
- 1824'te 28 yaşındaki Fransız askeri mühendis Sadi Carnot, buhar makinelerinin nihai verimliliğini hesaplamaya çalıştı ve Reflections on the Motive Power of Fire adlı 118 sayfalık bir kitap yayımladı
- Carnot, buhar makinesini sıcak bir cisimden soğuk bir cisme akan ısı eğilimini kullanan bir makine olarak gördü
- Isının işe dönüşebileceği oranın bir sınırı vardır ve bu sonuç Carnot teoremi olarak bilinir
- Sürtünme, titreşim ve istenmeyen hareketler nedeniyle enerjinin bir kısmı her zaman dağılır; bu yüzden kusursuz verim imkânsızdır
- 1865'te Alman fizikçi Rudolf Clausius, kullanışsız bir biçime kilitlenen enerji oranını “entropy” olarak adlandırdı
- Bunu, termodinamiğin ikinci yasasını “Evrenin entropisi bir maksimuma doğru gider” biçiminde formüle ederek yaptı
Boltzmann’ın olasılıksal yorumu ve zamanın oku
- O dönemde fizikçiler ısıyı yanlış biçimde “caloric” adlı bir akışkan olarak anlıyordu; daha sonra ise ısının moleküllerin hareketinden kaynaklandığı görüşü yerleşti
- Ludwig Boltzmann, entropiyi olasılık cinsinden yeniden yorumladı
- Her bir molekülün konumu ve hızı gibi ayrıntılı durumlar mikrodurumdur
- Sıcaklık ve basınç gibi bütünsel özellikler ya da dama taşlarının genel dizilişi ise makrodurumdur
- Bir makrodurumu oluşturabilecek mikrodurum sayısı ne kadar fazlaysa entropi o kadar yüksektir
- Düzenli bir görünüm oluşturmanın yolu azdır; rastgele dağılmış bir görünüm oluşturmanın yolu ise çok daha fazladır
- Bu nedenle ikinci yasa, “derli toplu bir durumdan çok dağınık bir duruma gitmenin daha fazla yolu vardır” şeklinde olasılıksal bir ifade olarak anlaşılabilir
- Sıcak parçacıklar ile soğuk parçacıkların ayrılmış hali, karışmış halden daha az olası olduğu için ısı sıcaktan soğuğa akar
- Aynı mantık camın kırılması, buzun erimesi, sıvıların karışması ve yaprakların ayrışması gibi olaylar için de geçerlidir
- Entropi artışı, tersinin de mümkün göründüğü süreçlere zamanın okunu kazır
Bilgi teorisine genişleyen entropi
- İkinci Dünya Savaşı sırasında Claude Shannon, haberleşme kanallarının şifrelenmesi üzerinde çalışırken bir mesajdaki bilgi miktarını ölçmek istedi
- Shannon, bilgiyi belirsizliğin azalması olarak ele aldı ve bir sonraki karakterin ne olacağına dair belirsizliği olasılık ve logaritma ile tanımladı
- Tüm karakterler aynı olasılığa sahipse Shannon’ın formülü, Boltzmann’ın entropi formülüyle aynı biçime sahip olur
- John von Neumann’ın Shannon’a bu niceliğe “entropy” adını vermesini önerdiği aktarılır
- Termodinamik entropi motorların verimliliğini açıkladığı gibi, bilgi entropisi de iletişimin verimliliğini yakalar
- Entropisi yüksek bir mesaj daha az desen içerdiği için bir sonraki karakteri tahmin etmek zordur ve içeriği anlamak için daha fazla evet/hayır sorusu gerekir
- Deseni fazla olan bir mesajın bilgi miktarı daha düşüktür, bu yüzden daha kolay tahmin edilir
- 1957'de E.T. Jaynes, iki makalesinde termodinamiğe bilgi teorisi açısından yeniden baktı
- Termodinamik, parçacıklara dair eksik ölçümlerden istatistiksel çıkarım yapan bir bilim olarak görülebilir
- Bilinen kısıtlarla uyumlu tüm yapılara eşit olasılık veren maksimum entropi ilkesini önerdi
- Bu ilke yalnızca istatistiksel mekanikte değil, makine öğrenmesinde ve ekolojide de kullanılır
- Farklı bağlamlardan çıkan entropi kavramlarının tümü belirsizlikle bağlantılıdır
- Parçacıkların konum ve momentumu kaybedildiğinde Gibbs entropy artar
- Parçacıklar çevreyle dolaşık hale gelip kuantum durum bulanıklaştığında von Neumann entropy artar
- Madde bir kara deliğe düşüp dış dünya o bilgiyi kaybettiğinde Bekenstein-Hawking entropy artar
Entropi kimin cehaleti?
- Modern anlayışta entropi; parçacıkların hareketi, bir kod dizisindeki sonraki sayı ya da bir kuantum sisteminin tam durumu hakkındaki cehaleti ölçer
- Bu bakış açısı doğal olarak “kimin cehaleti?” sorusuna götürür
- Carlo Rovelli, yağ ile suyun çalkalandıktan sonra yeniden ayrılmasını gözleyerek ikinci yasanın basit “düzensizlik artışı” açıklamasında bir sorun gördü
- Yüzeyde düzen artıyormuş gibi görünse de, güçlü bir termal bakışa sahip bir gözlemci ayırma sürecinde moleküllere kinetik enerjinin salındığını ve sistemin termal açıdan daha düzensiz hale geldiğini görebilir
- Makroskopik düzen, mikroskopik düzensizlik pahasına oluşabilir
- Jaynes, Gibbs karışım paradoksu ile gözlemcinin ayırt etme kapasitesinin entropiyi değiştirebildiğini gösterdi
- Farklı iki gaz A ve B bir bölmeyle ayrılmışken karışırsa entropi artar
- İki gaz özdeşse ve basınç ile sıcaklıkları aynıysa, bölme kaldırılsa bile entropi değişmez
- Gazlar aslında farklı olsa bile onları ayırt etmenin bir yolu yoksa, deneyci açısından tek ve aynı gaz gibi davranırlar
- Jaynes’in örneğinde iki tür argon yalnızca henüz keşfedilmemiş “whifnium” adlı bir elemente çözünürlükleri bakımından farklıdır
- whifnium keşfedilmeden önce ikisini ayırt etmek mümkün olmadığından, bölmeyi kaldırmak görünürde bir entropi değişimi yaratmaz
- whifnium keşfedildikten sonra iki argon türü ayırt edilebilir hale gelir ve karışımdan enerji çıkarmak için bir piston tasarlanabilir
- Entropi ve çıkarılabilir iş, yalnızca sistemin farklarına değil, gözlemcinin sahip olduğu bilgiye ve kaynaklara da bağlıdır
Gözlemciye bağımlılığı matematiğe katma çabası
- Entropi, sistemin özsel bir özelliği yerine gözlemciye göre değişen bir özellik olarak ele alınırsa, bu fiziksel nesnelliğe dair felsefi bir yük getirir
- Anthony Aguirre ve çalışma arkadaşları, gözlemsel entropi (observational entropy) adlı bir ölçü geliştirdi
- Belirli bir gözlemcinin erişebileceği özellikleri tanımlar ve bu özelliklerin gerçekliği ne kadar kaba biçimde sınıflandırdığını ayarlar
- Gözlenen özelliklerle uyumlu tüm mikrodurumlara, Jaynes’te olduğu gibi eşit olasılık verir
- Bu formül, makroskopik özellikleri ele alan termodinamik entropi ile mikroskopik ayrıntıları ele alan bilgi entropisi arasında köprü kurar
- Birden fazla bağımsız araştırma grubu, Aguirre’in formülünü kullanarak ikinci yasanın daha katı kanıtlarını arıyor
- Aguirre, bu ölçüyle evrenin neden düşük entropili bir durumda başladığını, zamanın neden ileri aktığını ve kara deliklerde entropinin ne anlama geldiğini daha açık hale getirmeyi amaçlıyor
- Kuantum bilgi teorisinde bilgi, gözlemcinin sistemle etkileşime girmek için kullandığı bir kaynak olarak görülür
- Tüm parçacıkların tam durumunu izleyebilen sonsuz kapasiteli bir süperbilgisayar için entropi her zaman sabit olur ve bilgi kaybı yaşanmaz
- İnsanlar gibi sonlu hesaplama kaynaklarına sahip gözlemciler ise gerçekliği kaba sınıflara ayırarak görür ve mikroskopik ayrıntıları giderek kaybeder
- Bu akış, zamanın akışı olarak görünür
Bilgi motorları ve karar vermenin fiziği
- 2023 yazında Aguirre’in kurucu ortaklarından olduğu FQxI, İngiltere’nin Yorkshire bölgesinde bilgiyi yakıt olarak kullanmanın yollarını araştıran fizikçileri bir araya getirdi
- Bu araştırmacılar için motor ile bilgisayar arasındaki ayrım giderek bulanıklaşıyor
- Bilgi, bir sistemden ne kadar iş çıkarılabileceğini gösteren gerçek ve nicelleştirilebilir bir fiziksel kaynak olarak ele alınıyor
- Leo Szilard’ın düşünce deneyi, bilgi motorlarının özünü gösterir
- Kutunun içindeki tek bir parçacık bölmeyi iter ve şeytan, ip ile makara kullanarak dışarıdaki ağırlığı yukarı kaldırır
- Tekrarlı biçimde iş elde edebilmek için şeytanın parçacığın kutunun hangi tarafında olduğunu bilmesi gerekir
- Szilard motoru bilgiyle çalışır
- Bilgi motorları da ısı makineleri gibi kusursuz değildir
- Bilginin ölçülmesi ve saklanması, ortalamada en az o kadar entropi üretir
- Bilgi işi mümkün kılar, ancak o bilgiyi edinmek ve hatırlamak da enerji gerektirir
- Susanne Still, gözlemciyi fiziksel sınırları olan bir fiziksel sistem olarak ele alıyor
- Gözlemci, neyi ölçeceğine ve sınırlı hafızasında neyi saklayacağına karar vermek zorundadır
- Yararlı tahminlere katkı sağlamayan bilgileri toplamak enerji verimliliğini düşürür
- Still, fiziksel sınırlara mümkün olduğunca yaklaşan bilgi işleme stratejilerini seçmek için least self-impediment principle ilkesini önerdi
- Still, eğik bir bölmeye sahip değiştirilmiş bir Szilard motoruyla gerçek dünyanın kısmi gözlemlenebilirliğini modelledi
- Kullanıcı, parçacığın yalnızca yatay konumunu, örneğin gölgesini görebilir
- Gölge bölmenin tamamen solunda ya da sağındaysa parçacığın hangi tarafta olduğu anlaşılır; ancak orta bölgede üstte mi altta mı olduğu bilinemez
- Bu modelde en uygun ölçüm ve hafıza kodlama stratejileri hesaplandığında, makine öğrenmesinde kullanılan information bottleneck algorithm için fizik temelli bir türetim elde edildi
Laboratuvardaki küçük bilgi motorları
- John Bechhoefer ve Simon Fraser University ekibi, suda yüzen tozdan daha küçük silika boncuklarla bir Szilard motorunu yeniden üretti
- Boncukları lazerle hapsettiler ve rastgele termal dalgalanmaları izlediler
- Boncuk yukarı doğru salındığında lazer tuzağını hızla yukarı taşıyarak bu hareketten yararlandılar
- Bilginin gücüyle bir ağırlığı yukarı kaldırmayı başardılar
- Bechhoefer ve Still, gerçek bilgi motorlarında iş çıkarımının sınırlarını araştırdı
- Belirli bölgelerde bilgi motorlarının klasik motorlardan çok daha iyi performans gösterebildiğini buldular
- Still’in kuramsal çalışmalarından ilham alarak, boncuğun durumu hakkındaki kısmi bilginin yarattığı verimsizlikleri de izlediler
- Oxford University’den Natalia Ares, bilgi motorlarını kuantum ölçeğine indiren deneyler yürütüyor
- Bardak altlığı büyüklüğündeki bir silikon çip üzerinde, ince bir karbon tel içinde tek bir elektronu hapsediyor
- Bu nanotüp, mutlak sıfırın binde biri derece yakınına kadar soğutuluyor ve bir gitar teli gibi titreşiyor
- Titreşim frekansı, içindeki elektronun durumuna göre belirleniyor; araştırmacılar da bu ince titreşimler üzerinden kuantum olaylarının iş çıktısını teşhis etmeyi amaçlıyor
- Ares’in deney planlarından biri Still’in fikirlerini izliyor
- Nanotüp titreşiminin elektrona ne kadar kusursuz biçimde bağlı olduğunu ya da başka bilinmeyen etkenlere ne kadar bağlı olduğunu ayarlıyor
- Bu, gözlemcinin cehalet derecesini ayarlayan bir düğme işlevi görüyor
- Kuantum ölçekte hangi entropinin ilgili sınırları belirlediği ve iş çıktısının nasıl tanımlanması gerektiği daha karmaşıktır
- Nicole Yunger Halpern liderliğindeki yakın tarihli çalışmalar, genelde eş anlamlı kullanılan entropi üretimi tanımlarının kuantum bölgede birbirinden sapabileceğini gösterdi
- Kuantum ölçekte bazı özellikler aynı anda bilinemeyebilir ve ölçüm sırası sonuçları etkileyebilir
- Yunger Halpern, kuantum dünyasındaki ek kaynakların Carnot teoreminin etrafından dolaşmak için kullanılabileceğini düşünüyor
Belirsizlikle uğraşan bir bilime dönüşüm
- Eylül 2024’te Fransa’nın Palaiseau kentinde, Carnot’nun kitabının 200. yılı anısına yüzlerce araştırmacı bir araya geldi
- Katılımcılar, güneş pillerinden kara deliklere kadar kendi çalışma alanlarında entropinin hangi rolü oynadığını tartıştı
- Fransız Ulusal Bilimsel Araştırma Merkezi’nden bir yetkili, Carnot’nun etkisini yeterince takdir etmemiş olmaları nedeniyle Fransa adına özür diledi
- Carnot’nun içgörüsü mekanik dünyayı bütünüyle kontrol etme girişiminden doğmuştu; ancak entropi doğa bilimlerinin geneline yayıldıkça odak değişti
- Arıtılmış bir entropi bakışı, kusursuz verim ve kusursuz öngörü hayalini bırakıp dünyanın indirgenemez belirsizliğini kabul ediyor
- Düzenin çöküşü tüm makinelerin itici gücüdür ve yeni bakış açısı kaosun içinde saklı düzen rezervlerini ortaya çıkarabilir
- Entropi yalnızca kaçınılmaz düzensizlik değil, aynı zamanda algılamaya, çıkarım yapmaya ve daha iyi seçimler yapmaya yönelten bilgi arayışının motivasyonu olarak da işliyor
1 yorum
Hacker News yorumları
Yazının burada tartışıldığını görmek güzel
Etkileşimli öğelerin teknik uygulamasını ben üstlendim; kaynak kodunu burada görebilirsiniz: https://github.com/jnsprnw/mip-entropy
Svelte 5 ve Tailwind ile yaptım
Son zamanlarda tek seferlik etkileşimlerin çoğu Svelte ile yapılıyor gibi; ne gibi avantajları var?
Bunu doktoramdan 27 yıl sonra okumak ilginç
Teorik fizik doktoram sırasında, entropiyi itici etken olarak gören bir bakışla bilinmeyenlerin olduğu ve olmadığı durumları karşılaştırmıştım
Doktora tezim, bir kavite içindeki kuantum mekaniksel sistemin nasıl ele alınacağı hakkındaydı; bir tarafı mükemmel ayna, diğer tarafı %99,999999 mükemmel ayna olan bir kaviteyle ilgilenmiştim
Kusurlu aynanın diğer tarafına bir başka mükemmel ayna daha koyarak 1 boyutlu evreni tamamladım; ASCII ile
[100%] —l— [100-epsilon] ——L——— [100%], burada L >> lTüm evrenin çözümü standart kuantum mekaniği teknikleriyle basitti, ama kayıplı küçük evrenin çözümü öyle değildi; fiziksel olarak ikisinin aynı olması gerekiyordu
Bu yüzden tam (l+L) evrenin kesin çözümünü kullanıp, kaybı açıklayan doğrusal olmayan terimlere sahip olası küçük (l) evren modelleriyle karşılaştırdım
Kayıplı sistemde entropi vardır ya da itici güç gibi davranır; kayıpsız sistemde ise her şey korunur. Bu ikisi arasındaki bağlantı yeni bir içgörü değil ;-0
lveL’nin ne anlama geldiğini de bilmiyorum; son cümlede muhtemelenhowolmamalıSean Carroll’ın entropiyi açıklamasını dinledikten sonra entropi bana çok daha ilginç gelmeye başladı
Temelci ve felsefi bir eğilimi var; farklı felsefi temeller üzerine kurulu entropi tanımlarının birbiriyle rekabet ettiğini ve bunlardan birinin gözlemciye bağımlı göründüğünü sık sık vurguluyor
https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
Leonard Susskind’in kuantum bilgisi ve kara delik entropisi hesabı üzerine çok iyi dersleri ve kitapları var; bunlar da epey radikal yeni hipotezlere yol açtı
Stephen Wolfram da entropi kavramının tarihi üzerine uzun bir konuşma yaptı; oldukça iyiydi: https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3
“Fizikçiler geçen yüzyıl boyunca görünüşte birbirinden kopuk alanları birleştirmeye çalışırken entropiyi yeni bir ışık altında ele aldı; mikroskobu bakan kişiye geri çevirerek düzensizlik kavramını cehalet kavramına dönüştürdü. Entropi, sistemin içkin bir özelliği değil, o sistemle etkileşime giren gözlemciye göreli bir şey olarak görülüyor” kısmı, devlerin omuzları sayesinde olabilir ama bana oldukça sıradan bir gözlem gibi geliyor
Yüksek entropili durum, karşılık gelen çok sayıda mikro durumu olan bir makro durumdur
Birden fazla mikro durumu aynı makro durum altında sınıflandırma işinin kendisi açıkça gözlemci merkezli bir fonksiyon değil mi?
Örneğin zarda 5 ve 6’yı özünde aynı sonuç sayarsam, o sonuç daha olası ve daha yüksek entropili bir sonuç olur
Ama bu benim sınıflandırmamdan kaynaklanır; sistemin içkin bir özelliği değildir
“Yüksek entropili durum, karşılık gelen çok sayıda mikro durumu olan bir makro durumdur” ifadesi, belirli bir modelde entropiyi türetme biçimidir
Ama entropi deneysel ölçümle de elde edilebilir; bu durumda deney düzeneği mikro durumları ya da makro durumları önemsemez, yalnızca entalpi, ısı kapasitesi ve sıcaklık gibi özelliklere sahiptir
Daha sonra bir model kurup belirli bir gazın entropisinin ideal gaz modeli tahminiyle uyuştuğunu ya da belirli bir katının entropisinin titreşim entropisi hakkında bildiklerimizle uyuştuğunu söyleyebilirsiniz
Hidrojen atomlarının ayırt edilemez olduğunu söyleme biçimi de böyledir. Biz öyle belirlediğimiz için ayırt edilemez olmazlar; iki durumun entropisini hesapladığımızda gerçekliğin ayırt edilebilir atom modeliyle uyuşmadığını görürüz
Yalnızca temiz modellere bakınca makro durum sınıflandırması gözlemci merkezli görünebilir, ama bir maddenin deneysel entropi değerinin, deneycinin kullandığı modelden bağımsız olarak neden tutarlı olduğunu açıklayamaz
Temelde entropi gözlemciye değil, olasılık dağılımına bağlıdır
Giriş seviyesi fizik ders kitaplarını okumuş sayısız öğrenci için hiç de apaçık değil
Aslında entropi sık sık yanlış öğretildi ve onu doğru anlayan çok az kişi vardı; bence artık bu yavaş yavaş düzeliyor
Popüler bilim dergilerinin, belgesellerin ve YouTube videolarının halkın kafasını daha da karıştırması da ek kanıt
Tüm gözlemciler deney yaptıklarında ve bilimsel yöntemi kullandıklarında aynı temel yasaları keşfetmelidir
Benzetmenize uyarlarsak, 5 ile 6’nın aynı olduğunu söylemek ancak oyunun kuralları bu şekilde dönüştürülebiliyorsa ve ikisini ayırt eden gözlemci de kendi referans sisteminde doğru dönüştürülmüş kurallara ulaşabiliyorsa mümkündür
Nötron yıldızları ve kara delikler gibi kuantum fiziği ile genel göreliliğin aynı anda devrede olduğu nesneler bulunduğunu düşününce, bu önerme oldukça temel geliyor; hatta fazla güçlü ifade edilmiş olabilir mi diye merak ettiriyor
Uzun süre entropinin gerçekte neyi temsil ettiğine dair sezgim yoktu
Bu Veritasium videosu sonunda anlayabileceğim şekilde açıkladı: https://www.youtube.com/watch?v=DxL2HoqLbyA
Heisenberg belirsizliğinden söz edilmemesi üzücü; bunu bu yaklaşımın teorik üst sınırı olarak görüyorum
Ayrıca bu tür kuantum motorlarından potansiyel olarak elde edilebilecek yararlı işe kıyasla hesaplama maliyetinin ne kadar olduğunu da dikkate almak gerekir
Hesaplama için harcanan enerji maliyeti, potansiyel yararlı işi aşarsa hâlâ net kayıp ya da işe yaramaz bir iş olur
Son olarak gizli örüntüler ile rastgelelik spektrumu sorunu var
Bazı sistemler diğerlerinden daha rastgeledir ve makul hesaplama enerjisi maliyetleri içinde yararlı iş elde etme olasılığı, rastgelelik spektrumunda aşağı indikçe azalır
Heisenberg belirsizliğinin maksimum olduğu bir sistemde, yani parçacıkların dolanık olmadığı ve başka dolanık parçacıkların üst yapılarıyla da korelasyon taşımadığı bir sistemde, bilgiyi iyileştirme payı yoktur; dolayısıyla potansiyel iş de 0’dır
Yerel sistemlerin ve makro sistemlerin nihai entropisi budur; muhtemelen karanlık enerji gibi belirli enerji korunumu ilkesi ihlallerinin nedeni de bu olacaktır
Bu yılın başlarında ilgili bir başlık vardı
https://news.ycombinator.com/item?id=41037981 ("What Is Entropy? (johncarlosbaez.wordpress.com)", 209 yorum)
Entropinin öznel olduğunu göstermeye çalışan interaktif grafik pek ikna edici değil
İncelenen sistemin makro durumunu doğru düzgün tanımlamadan, iki farklı makro durum için iki farklı gözlenen entropi gösteriyor
Alice için renk, Bob için şekil gibi
Bu, entropinin öznel olduğunu değil, sistemi tanımlamanın öznel olduğunu gösterir
Aynı iki makro durum söz konusuysa yine aynı entropiye sahip olurlar
Yazı bu kısmı biraz ele alsa da yeterli değildi; belki de bu, literatürün durumundan kaynaklanıyordur
Safranek ve diğerlerinin gözlenen entropi makalesi, makro durumlara yönelik kaba tanelendirme (coarse graining) seçiminin farklı entropilere yol açabileceğini göstermesi bakımından ilginçti; ancak en başta neden belirli bir kaba tanelendirmenin ya da makro durumun seçildiği temel sorusunu ele almıyor
Bilgi teorisi literatüründe belirli bir kaba tanelendirme ya da makro durum seçmenin, Kolmogorov karmaşıklığı anlamında bir bilgi maliyeti vardır
Yazıdaki örnekte bu, entropiyi tanımlamak için şekli ya da rengi seçme maliyetidir
Bu yüzden gözlenen entropi, seçilen kaba tanelendirmenin bilgi maliyetini de içeren daha büyük bir entropinin ya da bilgi maliyetinin parçası gibi geliyor
Bu, yazının ilerleyen bölümlerindeki gözlem maliyeti ve bilgi darboğazı tartışmasına yeniden bağlanıyor; ancak yazının ve bağlantı verilen makalelerin bu farklılaşan makro durum maliyeti meselesini açıkça ve ayrıntılı biçimde ele aldığı pek görülmüyor
Termodinamik bir maliyet olduğuna dair tartışma var, ama bu maliyetin nasıl biriktiği ve neden bir makro durumun diğerinin yerine benimsendiği belirsiz
Öznellik örneğindeki Alice ve Bob farklı fiziksel kısıtlarla tanımlanmış; kısıtları farklı iki gözlem sistemi olarak görülebilirler
Bir başka açıdan, içinde çok sayıda parçacık olan bir kutunun “tamamen rastgele” olduğunu varsayalım
Bu durumda Alice ve Bob ne görürse görsün önemli olan parçacık sayısı vb.dir; renge ilişkin entropi parçacık konumlarına değil, renklerin sayısına bağlıdır. Çünkü zaten maksimum entropi durumundadır
Parçacıkları belirli bir özelliğe göre yeniden düzenlerseniz, ikisi de tamamen rastgele durumdan entropiyi belirli bir miktar azaltmış olur; bunun da parçacıkları yeniden tamamen rastgele duruma döndürmek için gereken bilgiyle bir şekilde ilişkili olabileceğini düşünüyorum
Yazıda başka bilim ve matematik alanlarına çok sayıda bağlantı var; gözlemin bilgi maliyetine ilişkin kısım da hesaplama açısından yaklaşan Wolpert (2008) ve sonrasında Rukavicka üzerinden matematik ve bilgisayar bilimi literatürüyle bağlanıyor
Sinirbilim literatüründe de entropi azaltma verimliliğine benzer fikirler var, ama ilgili kişilerin adlarını şu an hatırlamıyorum
Quanta yazısı gerçekten iyiydi, ancak belirli alanlarda çok fazla bulanıklık vardı; bunun yazımın bulanıklığı mı, literatürün kendisinin bulanıklığı mı, yoksa benim anlayış eksikliğim mi olduğunu ayırt etmek zordu
Alice’in türünde Bob tarafındaki entropiyi algılayacak ölçüm cihazı yoktur; dolayısıyla Alice, Bob’un sisteminden yararlı iş çıkaramaz, tersi de geçerlidir
Bu nedenle nesnel bir entropi tanımı, ölçüm yapanın yeteneklerini içermelidir
Sonuçta makro durum hakkında söylediğiniz şeyle aynı
Tam olarak parmak basamamıştım ama evet
Sistemi tanımlama işiyle sistemin entropisini tanımlama işini birbirine karıştırıp sonra entropinin öznel olduğunu söylüyorlar
Hiç de öyle değil. Entropi yalnızca bir ölçüm değeridir
Yorumlarda bu Sabine videosunu görmedim sanırım. Fizikte entropiyle ilgilenenler için ilginç olabilir
"I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
https://m.youtube.com/watch?v=89Mq6gmPo0s
Ben entropiyle makine öğrenmesi, bilgi teorisi ve olasılık tarafında karşılaştım
Bana oldukça sezgisel, ilginç ve kullanışlı geliyor; ama gizemli bir yanı yok
Olasılık yoğunluk fonksiyonu, gösterişli bir ifadeyle histogram, hangi sonucun kaç kez ortaya çıkmasını beklediğimize dair elimizdeki en iyi güncel bilgidir
Bir deneyi bir kez yaptığınızda sonucu bilemezsiniz; yalnızca farklı sonuçların sayısını sayabilirsiniz ve hangi sonucun tam olarak ne zaman ortaya çıkacağından emin olamazsınız
Düz bir olasılık yoğunluk fonksiyonu, bilginin zayıf olduğu anlamına gelir. Tüm sonuçlar neredeyse benzer ölçüde olasıdır ve ben çok cahilimdir. Yani entropi yüksektir
Sivri bir olasılık yoğunluk fonksiyonu, bilginin iyi olduğu anlamına gelir. Bazı sonuçlar çok daha olasıdır ve entropi düşüktür
Uç durumda olasılık yoğunluk fonksiyonu bir Dirac deltası ise, bu deterministik bilgidir
Biraz ilginç olan, yeni bir gözlemin bilgiyi azalttığı durumlardır
Örneğin şu anda kanser olmadığım konusunda oldukça emin olduğumu ve benim yaş grubum için olasılığın 90:10 olduğunu varsayalım
Yarın bir test yaptırdım ve sonuç pozitif çıktı. Benim yaş grubumda pozitif çıkan kişiler arasında gerçekten kanser olanların oranı kabaca yarıdır
Testten sonra olasılığım 50:50 olur. Artık kanser olup olmadığım konusunda tamamen bilgisiz hale gelmişimdir
Testten önce, pozitif sonucu almadan önce kanser olmadığım konusunda çok emindim; ama yeni bilgi olan pozitif sonuç, kanser olasılığını sivri marjinal olasılık
P_Y(y)={0.9,0.1}değerinden tamamen bilgisiz koşullu olasılıkP_Y(y|+ve test)={0.5,0.5}değerine çevirmiş olduBu örnek DeWeese ve Meister'ın "How to measure the information gained from one symbol" makalesinden geliyor: https://pubmed.ncbi.nlm.nih.gov/10695762/
Güzel yazı
Entropi ve bilginin öznel doğası, akla hemen bilinç hakkındaki Entegre Bilgi Teorisi'ni (IIT) ve onun temelde boşa kürek çekmesini getiriyor
Bilgi, bir bakış açısı olmadan tartışılamaz. Birilerinin durumları tanımlaması gerekir
Bir zarın 6 durumu olması da yalnızca biz insanlar için böyledir. Peki üzerine düşme ihtimali olan bir karınca için durum nedir?
Bilgi tartışmasına gözlemciyi yeniden dahil etmek ilginçtir. Çünkü bunun ardından hemen “Gözlemci nasıl oluşur?”, “Trilyonlarca hücreden oluşan bir varlıkta bakış açısı, yani ‘ben’, nasıl ortaya çıkar?” soruları gelir
Bu dolambaçlı yolla ilgileniyorsanız, bu yazı ve içinde adı geçen kitabımız okunmaya değer
https://saigaddam.medium.com/consciousness-is-a-consensus-me...