Guinness bira fabrikasında doğan t-test
(scientificamerican.com)- Bilimde istatistiksel anlamlılığı değerlendirmede yaygın biçimde kullanılan t-test, bira üretimindeki kalite kontrol sorunundan doğdu
-
- yüzyılın başında dünyanın en büyük bira fabrikası olan Guinness, göz kararı ve kokuya dayanan kalite kontrolü tutarlılık ve endüstriyel titizlik merkezli bir yapıya dönüştürmek istiyordu
- William Sealy Gosset, şerbetçiotundaki reçine içeriği gibi yalnızca küçük örneklemlerle ölçüm yapılabilen durumlarda gerçek fark ile rastlantısal dalgalanmayı ayırmanın bir yolunu geliştirdi
- t-test, örneklem ortalamaları arasındaki fark ile verinin yayılımını birlikte değerlendiren bir sinyal-gürültü oranı kullanır; küçük örneklemlerde normal dağılım yerine kuyrukları daha kalın olan t-dağılımı gerekir
- Guinness, araştırma içeriğinin rakiplere gitmesini istemediği için Gosset çalışmasını “Student” takma adıyla yayımladı; bu yöntem bugün de bilimin temel istatistik araçlarından biri olmayı sürdürüyor
Guinness kalite kontrolünden çıkan istatistik yöntemi
- Guinness bira fabrikası, kurucusu Arthur Guinness'in Dublin'de yıllık 45 £ karşılığında 9.000 yıllık kira sözleşmesi yapmasının ardından yenilikçi yöntemleriyle tanındı
- Bira alanındaki yeniliklerden biri, matematikçi kökenli bira üreticisi Michael Edward Ash'in 4 yıllık denemeden sonra geliştirdiği kimyasal yöntemdi
- Bu yöntem, Guinness stout'un yumuşak köpük katmanını oluşturmak için kullanıldı
- Fıçılara ve kutuların içindeki küçük toplara nitrojen gazı koyma yaklaşımını içeriyordu
- Sonrasında bira ve kahvedeki “nitro brew” tarzına uzandı
- Bira fabrikasından çıkan en etkili yenilik, biranın kendisi değil t-test oldu
Dünyanın en büyük bira fabrikasında küçük örneklem sorunu
-
- yüzyılın başında Guinness, yaklaşık 150 yıldır faaliyet gösteren dünyanın en büyük bira fabrikasıydı
- O dönemde ürün kalite kontrolü büyük ölçüde göz kararı ve koku testlerine dayanıyordu
- Küresel ölçekte büyüme ihtiyacı arttıkça yönetim, daha tutarlı ve endüstriyel açıdan daha titiz bir kalite kontrol anlayışına geçmek istedi
- Şirket, araştırma ekibi tuttu ve onlara kusursuz birayı üretmek için şu soruları inceleme serbestisi verdi
- En iyi arpa türleri nerede yetişir
- Malt özütünün ideal şeker oranı nedir
- Son reklam kampanyası satışları ne kadar artırdı
- Araştırma ekibinin tekrar tekrar karşılaştığı temel zorluk, küçük örneklem büyüklüklerinde veriyi yorumlamaktı
Şerbetçiotu örneğiyle istatistiksel anlamlılık
- Şerbetçiotu çiçekleri, Guinness'in acılığı ve doğal koruyucu etkisi için önemli bir bileşendi; bira üreticileri kaliteyi değerlendirmek için soft resin içeriğini ölçüyordu
- Örnekte iyi bir tipik değer olarak %8 alınır ve 9 örnek ölçüldüğünde değerlerin %4 ila %10 aralığında, ortalamanın ise %6 olduğu bir durum varsayılır
- Tüm çiçekleri incelemek ekonomik olarak mümkün olmadığından rastgele örneklem test edilmeliydi
- Örneklem ortalaması %6 çıktığında iki olası yorum vardır
- Tüm mahsuldeki soft resin içeriği gerçekten anormal derecede düşüktür
- Tüm mahsul normaldir ama tesadüfen düşük değerli bir örneklem seçilmiştir
- Kararın özü, örnekteki düşük reçine içeriğinin %8'den anlamlı biçimde farklı olup olmadığını, yoksa doğal dalgalanma mı olduğunu ayırt etmektir
Bilimin genelinde tekrar eden değerlendirme
- Bu sorun yalnızca bira üretimiyle sınırlı değildir; bilimsel araştırmaların genelinde ortaya çıkar
- Tıbbi bir deneyde hem tedavi grubu hem placebo grubu iyileşmiş, ancak tedavi grubu biraz daha iyi sonuç vermişse, o ilacı önermek için yeterli kanıt olup olmadığına karar vermek gerekir
- İki grup farklı placebolar aldıysa ve bir tarafın sonucu daha iyiyse, bunun placebo etkisinden mi yoksa doğal iyileşmeden mi kaynaklandığını ayırmak gerekir
- Bu tür değerlendirmeler sonunda istatistiksel anlamlılık meselesine bağlanır
Gosset'in t-testinin çözdüğü nokta
- Küçük örneklem büyüklüklerinde bu tür sorunları ele alan teori, Guinness'ten William Sealy Gosset t-testi geliştirene kadar ortaya konmamıştı
- İstatistiksel anlamlılık kavramının kendisi Gosset'ten önce de vardı, ancak önceki istatistikçiler çoğunlukla büyük örneklemlerle çalışıyordu
- Şerbetçiotu örneğinde sorulan soru şudur: Tüm mahsul ortalamasının %8 olduğu bir dünyada, ortalaması %6 gibi uç bir değerin gözlenme olasılığı nedir
- Bu olasılığa P değeri denir ve geleneksel olarak %5 ya da 0,05'in altındaysa istatistiksel olarak anlamlı kabul edilmesi yaygındır
- Ancak kullanılan alana göre eşik değer değişebilir
Sinyal, gürültü ve t-dağılımı
- P değerini genelde iki etken belirler
- Örneklemin, anakütlede beklenen değerden ne kadar uzak olduğu
- Büyük sapmaların ne kadar sık görüldüğü
- Örneklem ortalaması %6 ile beklenen değer %8 arasındaki fark sinyaldir
- Fark büyüdükçe, mahsuldeki soft resin içeriğinin gerçekten düşük olma ihtimali artar
- Çiçekler arasındaki standart sapma ise gürültüdür
- Standart sapma büyükse, ortalamanın %6 çıkması çok da kaygı verici olmayabilir
- Standart sapma küçükse, %6 değeri beklenen %8'den gerçekten sapmış bir sinyal olabilir
- İdeal durumda sinyal-gürültü oranı hesaplanır ve bu oranın %5 eşiğine ulaşacak kadar büyük olup olmadığına bakılır
- Gosset döneminin istatistikçileri, deney birçok kez tekrarlandığında sinyal-gürültü oranının grafiğinin standart normal dağılıma, yani çan eğrisine benzediğini biliyordu
- Gosset, bu yaklaşımın yalnızca büyük örneklemlerde iyi çalıştığını ve küçük şerbetçiotu örneklerinde normal dağılımın garanti edilmediğini fark etti
- Küçük örneklem büyüklüklerine uygun yeni bir dağılımı özenle tablo haline getirdi; bugün buna t-dağılımı deniyor
- t-dağılımı, normal dağılım gibi çan biçimindedir ama kuyrukları daha yavaş incelir
- Bu nedenle küçük örneklemlerde anlamlılık için daha büyük bir sinyal-gürültü oranı gerekir
Neden bira fabrikasında ortaya çıktı
- John D. Cook, 2008 tarihli blog yazısında t-testin bir şarap evinden değil de bir bira fabrikasından çıkmasının o kadar da şaşırtıcı olmayabileceğini yazdı
- Bira üreticileri ürünlerinde tutarlılık isterken, şarap üreticileri çeşitliliği daha çok benimser
- Şarabın “iyi yılları” vardır ve her şişenin bir hikâyesi olabilir; Guinness ise her seferinde aynı kendine özgü tadı vermelidir
- İşte bu tekdüzelik ihtiyacı istatistiksel yeniliğe yol açtı
“Student’s t-test” adı
- Gosset, yeni yöntemle bira fabrikasındaki çeşitli sorunları çözdü
- Kendi kendini yetiştirmiş bir istatistikçi olan Gosset, Guinness'in araştırma içeriğinin rakiplere gitmesini istememesi nedeniyle t-testi “Student” takma adıyla yayımladı
- Gosset endüstriyel kalite kontrolün öncülerinden biri oldu ve nicel araştırmalara birçok fikir kattı, ancak birçok ders kitabı onun en bilinen katkısını hâlâ Student’s t-test diye anıyor
- Adı tarihte daha az öne çıksa da t-test bugün hâlâ bilimde en yaygın kullanılan istatistik araçlarından biridir
1 yorum
Hacker News yorumları
Biyokimya tarihinde de ilginç bir bölüm var: Chaim Weizmann bir biyokimyacı ve güçlü bir Siyonistti; I. Dünya Savaşı sırasında donanma topçu sevk barutu olan korditin üretimi için gereken asetonu üretebilen Clostridium acetobutylicum’u kültürleyerek Winston Churchill’in dikkatini çekti.
Savaşa katkısının karşılığında George Lloyd, Britanya’nın ne yapabileceğini sorduğunda Weizmann “Benim için değil, halkım için” diye yanıt verdi; bu da Yahudi halkı için bir yurt sağlanmasını vaat eden Balfour Deklarasyonu’na giden yolu açtı.
https://en.wikipedia.org/wiki/Chaim_Weizmann
https://en.wikipedia.org/wiki/Balfour_Declaration
Balfour Deklarasyonu’nda Filistinlilerin yerlerinden edilmemesi gerektiğine dair bir madde de vardı, ancak bu neredeyse unutuldu; Weizmann’ın Britanya’ya gelmesinden George Lloyd ile görüşmesine kadar, Albert Einstein’ı tanıtmak için yapılan dünya turu gibi kayda değer siyasi manevralar da söz konusuydu.
Yakın zamanda okuduğum David Fromkin’in A Peace to End All Peace kitabı, Weizmann’ın rolünü ve Balfour Deklarasyonu’nun oluşum arka planını derinlemesine ele alıyor; kitabın sonuç bölümündeki, Roma’dan sonraki imparatorluk düzeni çöktükten sonra Avrupa’nın ulus-devletleri ve siyasi kimlikleri oturtmasının yaklaşık 1.500 yıl aldığına dair kısım aklımda kaldı.
Ortadoğu’daki mevcut krizin derinliği ya da süresi farklı olabilir; ama eski imparatorluk düzeninin çöküşünden sonra farklı halkların hangi yeni siyasi kimlikler etrafında yeniden örgütleneceği şeklindeki aynı sorunla ilgili olduğu yorumu etkileyici.
Müttefikler savaş sonrası Yahudi mültecileri yeniden yerleştirecek bir plan da yapmamıştı; aksine o dönemde Yahudilerin Britanya Mandası altındaki Filistin’e girmesi bile yasaktı.
İsrailliler, ABD’nin Britanya’dan bağımsızlığını ilan etmesi gibi, Britanya’nın iradesine karşı kendi devletlerini ilan ettiler.
Ayrıca o bölgeye dair hiçbir “plan” iç savaşı öngörmüyordu; ama iç savaş fiilen yaşandı ve olayları sonradan, gerçekleşmemiş çeşitli planlarla uyuşmadığı için geriye dönük biçimde kalıba sokmak revizyonist yoruma yakın.
Batı Şeria’daki Arapların İsraillilerden gördüğü muamelenin, onların İsraillilere yapmak istediklerinden daha kötü olduğunu söylemek zor; ancak Arap tarafı askeri çatışmada yenildikten sonra kendi kadim Yahudi cemaatlerini de sürdü.
Geçen yaz Polonya’ya gittiğimde, iki dünya savaşı arasındaki dönemde Polonya’daki birçok Yahudi liderin Yahudi ulus-devletini desteklediğini, ancak hükümeti bunu açıkça ilan etmeye ikna edemediklerini öğrendim.
O dönemde Yahudilerin Polonya nüfusunun %25’ine kadarını oluşturduğu düşünülünce bu daha da şaşırtıcı.
Deklarasyonu geçirmesindeki motivasyonlar arasında, Britanya Yahudilere kendi ülkelerini verirse dünya Yahudi komplosu içinde güçlü bir müttefik kazanacağı ve aynı zamanda Yahudilerin Britanya’yı terk ederek siyasetini, kültürünü ve ekonomisini yönlendirmesinin önüne geçileceği düşüncesi en azından kısmen vardı.
Wikipedia’da alıntılanan Balfour’un 1919 tarihli yazısında da Siyonizmin, Batı uygarlığının “kendi içindeki Yahudiler topluluğunu” yabancı ve düşmanca görmesine rağmen ne kovabildiği ne de özümseyebildiği için ortaya çıkan uzun süreli acıyı hafifleteceğini yazmıştı.
O, Siyonizm desteği ile antisemitizmin birbirine aykırı olmadığını, hatta pratikte birlikte yürüyebileceğini gösteren en iyi örnektir.
Hitler iktidara geldikten sonra bile Alman hükümetinin desteğiyle Alman Yahudilerinin Filistin’e göçüne yardımcı olan bir Siyonist proje vardı; elbette tüm göçler gibi bu da II. Dünya Savaşı’nın başlamasıyla sona erdi.
Bu, Nazilerin o projeyi sevdiği anlamına gelmez; ama aktif olarak karşı da çıkmadılar. Bunun yerine göç eden Yahudilerin varlıklarını tasfiye etmelerini sağladılar ve yurt dışına aktarılabilecek mal varlığını ciddi biçimde sınırladılar; daha sonra Holokost sırasında Yahudi işletme sahiplerinin mallarına el koyup bunları yeniden özelleştirdiler.
İlginç bir yazı. İstatistik derslerinde böyle bir şey duyduğumu sanmıyorum.
Gosset, yeni tekniğiyle bira fabrikasının çeşitli sorunlarını çözdü; Guinness de araştırma içeriğinin rakiplerine ulaşmasını istemediği için t-testini Student takma adıyla yayımladı.
Gosset, endüstriyel kalite kontrolünün öncülerindendi ve nicel araştırmaya da çok katkı yaptı; ama çoğu ders kitabı hâlâ onun başarısını “Student'ın t-testi” diye adlandırıyor.
Gosset'in doğru dağılımı kuramsal olarak türetecek matematik altyapısı eksikti; bu yüzden örneklem büyüklüklerine göre binlerce kez örnekleme simülasyonu yapıp eğriler uydurarak dağılımı buldu.
O dönemde simülasyon, binlerce karta sayılar yazıp karıştırmak, sonra örnekler çekerek ortalama ve standart sapmayı hesaplamak ve bunu binlerce kez tekrarlamak demekti.
Sonuçlarını, düzgün biçimde kanıtlayamadığı için özür diler gibi bir tavırla yayımladı.
İstatistik ders kitapları fazla kuru; böyle hikâyeler anlatmaya pek yerleri olmuyor.
Sanayide yararlı keşiflerin ortaya çıkıp da yönetimin rekabet bilgisi sızar kaygısıyla gömdüğü kaç vaka vardır, merak ediyorum.
Tek bir kişi olmasa bile sonunda birinin keşfedebileceğine inanıyorsak, bu tür keşiflerin de eninde sonunda bağımsız olarak yeniden keşfedildiğini ya da keşfedileceğini söyleyebiliriz.
Bununla bağlantılı olarak, şirketler battığında ya da satın alındığında değerli araştırmaların ne kadarının kaybolduğunu da merak ediyorum.
Örneğin MCC ile ilgili 1990'lardaki “agent” ve “multi-agent system” makalelerini okurken “MCC Technical Report TR86-32791” gibi kaynakçalara sık rastlanıyor; bazıları çevrimiçi bulunabilse de epey çok raporu bulmak zor ya da imkânsız görünüyor.
https://en.wikipedia.org/wiki/Microelectronics_and_Computer_...
HN'de “sharding” teriminin kökeni tartışılırken de benzer bir durum vardı. Pek çok kanıt CCA'nın şirket içi makalesine işaret ediyordu ve CCA, Xerox tarafından satın alınmıştı; ama özgün makaleye artık fiilen ulaşılamıyor.
Xerox'un bir yerlerinde olabilir ama elde etmesi çok zor olacaktır.
https://news.ycombinator.com/item?id=36848605
Oradaki anı plaketi Gosset'i ve istatistiğe katkılarını hatırlatıyor.
Bu küçük arka planı öğrendikten sonra kişisel olarak epey rahatladım.
AWS'ye ilk girdiğim yıl çalıştığım yer DUB1 sahasıydı ve Digital Hub adlı teknoloji ve kuluçka alanının bir parçasıydı.
Tesadüfen Amazon'un küçük ofisi, William Sealy Gosset'in eski laboratuvarındaydı ve Guinness kontrol işlerinin yapıldığı St. Patrick's Tower'ın hemen yanındaydı.
Eski bir istatistik okutmanı olarak, ne kadar şanslı bir yerde çalıştığımızı iş arkadaşlarıma heyecanla anlattım ama neredeyse hiç tepki almadım.
Uzun zaman önce William Sealy Gosset'in İrlanda posta pulunda anılacak kişiler arasına alınmasını önermiştim ama hiçbir şey olmadı; umarım bir gün daha fazla takdir görür.
Guinness çağının çok ilerisindeydi ve pek çok açıdan dönemin Google'ı gibiydi. Konut sağlama, yüksek ücretler, harika yan haklar vardı.
Büyükbabam orada çalıştığı için babamın kardeşlerinin hepsi yüzmeyi Guinness havuzunda öğrendi.
Bir başka ilginç gerçek de, kutuda iyi köpük oluşturmak için kullanılan widget'ın yılın icadı seçilmesi; üstelik o yıl internetin icat edildiği yıldı.
Guinness hakkında daha fazla ilginç hikâye için şu yazı iyi: https://www.thefitzwilliam.com/p/no-great-stagnation-in-guin...
Bugün barda çıkan tartışmaları Google ile çözdüğümüz gibi, o dönemde kitap tam da bu amaçla yayımlanmıştı.
Guinness bira fabrikasının yanındaki okula gittim; şerbetçiotu kaynatma kokusunu ömrüm boyunca unutamayacağım sanırım.
Ama okul birçok açıdan çok yoksuldu ve 1980'lerde İrlanda'daki kitlesel işsizlik ve büyük ölçekli göç döneminde bile Guinness okul futbol takımının ekipmanlarına sponsorluk yapmadı.
İronik biçimde, bir mezun birkaç Apple Mac ve on kadar Apple IIe bağışladı; böylece okulda çağının ilerisinde bir bilgisayar laboratuvarı vardı.
Muhtemelen BASIC programlamayı kendi kendime öğrenip ilk becerilerimi orada geliştirdim.
Asıl konuya dönersek, Guinness her zaman akıllı ve çağının ilerisindeydi; orada işe girmek piyango kazanmak gibiydi, fiilen ömür boyu güvence demekti.
Böyle hikâyeleri seviyorum.
Lisans istatistik ders kitabında şans eseri bunu öğrenmiştim; daha sonra Dublin'de Guinness bira fabrikasını gezerken Gosset hakkında küçük bir sergi de vardı. Gerçi Gosset aslında İngiltere tarafındaki bira fabrikasındaydı.
Organik kimyada öğrendiğim bir başka eğlenceli gerçek de, Rus besteci Alexander Borodin'in “In the Steppes of Central Asia” ve “Prince Igor”u yazan besteci olması; ama bestecilik boş zaman uğraşıydı, asıl işi aldol reaksiyonunun ortak kâşiflerinden biri olan bir organik kimyacı olmaktı.
https://en.wikipedia.org/wiki/Alexander_Borodin
2019'da yaptığım sunumda bu anekdotu ele almıştım
Hakkını vermek için sahneye Guinness getirip bizzat açmam gerekiyordu
Emekliye ayrılmış bir okyanus yolcu gemisinin otel ve konferans alanına dönüştürüldüğü yerde çekilmiş EuRuKo videosu: https://youtu.be/Aczy01drwkg?si=lsVWAFv9f3eLc2fZ&t=1095
Şaşırtıcı değil. Neredeyse tüm imalat sektörü, istatistiksel yöntemleri denemek için kusursuz bir ortam gibi görünüyor
Yeterli ölçek var; bu yüzden ince farklar bile büyük paralar tasarruf ettirebilir ve oldukça hızlı biçimde kâr getirir
t-testi, daha ileri tekniklerle karşılaştırıldığında basit olsa da zekice olduğu için beni hep etkilemiştir
1900'lerin başında yetiştiricilik ve tarım, varyans analizi, bloklama faktörleri, karıştırıcı faktörler, faktör·düzey·aralık ve tam faktöriyel tasarım gibi deney tasarımı yaklaşımlarından çok yararlandı
Günümüzde F istatistiği, kritik F değeri gibi şeyler artık doğal kabul ediliyor
Asıl yazı ne yazık ki Gosset'in çalışmasının ve t-testinin özünü büyük ölçüde kaçırmış gibi
Gosset/Fisher/Pearson/Neyman'ı modern biçimde harmanlayan sıfır hipotezi anlamlılık testi eğitimi almış kişilerin sık yaptığı türden bir şey
Önemli olan p-değerini hesaplayabilmek değil; yanlış pozitif oranıyla yanlış negatif oranını takas ederek ekonomik açıdan rasyonel kararlar vermeye yarayan bir karar verme çerçevesi olması: https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1...
Bu durumda bira fabrikası kayıtlarında hatalı parti oranı testler ve tadımlar yoluyla iyi düzenlenmiş olduğundan, belirli sayıda test örneğinin maliyetinden tasarruf etmek karşılığında ne kadar “kötü” partiye katlanılacağı belirlenebiliyordu
Örneğin yanlış negatif olarak her 100 kötü partiden 1'ine katlanmayı ve her 20 iyi partiden 1'ini reddetmeyi seçerseniz, gerekli örneklem sayısı n ortaya çıkar
Ölçümlerin varyansını düşürmek, aynı ödünleşimi elde etmek için gereken örneklem sayısını azaltır; bu da atılan malzeme ya da test maliyetinde azalma olarak doğrudan paraya dönüşür
Örneklem sayısının küçük olması daha iyi olduğundan Student asimptotik yöntemler veya yaklaşımlar kullanamazdı; yaklaşımlar birkaç basamak hatalı bile olabiliyordu. Hatta n = 2 olan testleri bile denedi
Ya da alkol derecesini vergilendirme eşiğini aşmayacak, ama müşteriyi hayal kırıklığına uğratacak kadar da düşük olmayacak şekilde çok sıkı optimize etmeye çalışmış olabilir
Gosset, “gereken doğruluk, yani 0,5 doğrulukta 10'a 1 odds elde etmek için en az dört ölçümün ortalaması kullanılmalı” diye hesapladı ve Guinness yönetim kurulu bunu memnuniyetle karşıladı
Bu size öznel Bayesçi karar teorisi gibi geliyorsa doğru; ancak Student, çoğu istatistikçi gibi bunu reddederdi ve bilinen taban oranlarına sahip bir popülasyonla uğraşıldığı için Bayes'e gerek olmadığını, bunun yalnızca frekansçı karar teorisi olduğunu vurgulardı
Bazen t-testinin, noktaların jitter uygulanarak gösterildiği iki kutu grafiğiyle ya da veri sayısına dair başka bir gösterimle karşılaştırıldığında gerçekten ne kadar yararlı olduğunu merak ediyorum
Kutu grafiğinde açıkça görünmüyorsa, yeterince nokta olduğu varsayımıyla, yalnızca t-testiyle gerçekten ikna edici bir argüman kurulabilir mi diye düşünüyorum
t-testi bağımsız olarak hesaplanıp doğrulanabilir