Soru:
Çok heyecan verici olmayan sonuçları açıklarken ne kadar dürüst olmalıyım?
undergrad_dilemma
2018-12-10 23:14:29 UTC
view on stackexchange narkive permalink

Ben bir yöntemler dersi için bir makale üzerinde çalışan bir sosyolojiden yoksunum. Ayrıca bunu yüksek lisans başvurum için örnek olarak sunmayı planlıyorum. Çok spesifik olmak istemiyorum, ancak bu çalışmanın oldukça orijinal olduğuna ve hipotezimin önceki literatürü doğrulayacağına ve sonuçta kabul komitesinde iyi bir izlenim bırakacağına inanıyorum.

Yani temelde testleri çalıştırıyorum ve çelişkili sonuçlar alıyorum. Bir veri setini (daha fazla gözlemi olan) kullanmak bana çok önemli sonuçlar verirken, bir başkasını kullanmak (muhtemelen daha doğru olacaktır) bana hiçbir şey vermiyor. Dolayısıyla burada bir yol ayrımındayım ve ne yapılacağına dair üç olası seçenek buldum:

  1. Yalnızca önemli sonuçları gösterin. Sonuçta, bu sadece on sayfalık bir makale, yayınlanabilir veya başka bir şey olmaması gerekiyor, değil mi?

  2. Yalnızca daha iyi veri kümesini kullanın ve olmadığını kabul edin çok orada - belki küçük örneklem büyüklüğünden veya pek iyi olmayan bağımlı değişkenden sorumlu olabilir. Umarım komite, kullandığım dürüstlüğü ve nispeten gelişmiş yöntemleri takdir eder.

  3. Her iki veri kümesinden de sonuçlar göstererek farklılıkların örneklem büyüklüğünden veya belki de şans.

Bunu yazarken 3. seçeneğe daha çok eğiliyorum, ancak akademik alanda daha fazla deneyime sahip insanlardan haber almak isterim. Ne yapmalıyım?

Çelişkili sonuçlar, bir keşfe doğru ilk adımdır.
@henning ... ya da bilimsel inançların çürütülmesi.Çelişkiyi kucaklayın.
"Bu çalışma oldukça orijinal ve benim hipotezim önceki literatürü doğrulayacak" Mevcut önceki sonuçları doğruluyor, ancak orijinal mi?
+1 sormak için.Özellikle sosyal bilimlerde istatistik yapmanın doğru yolunun tartışılması için Andrew Gelman'ın blogunu düzenli olarak ziyaret etmenizi şiddetle tavsiye ederim. İşte bir örnek https://andrewgelman.com/?s=file+drawer
Soruyu tersine çevirin."Ne kadar dürüst olmalıyım?" Diye sorma."İncelemecilerimi kandırmaya ne kadar çabalamalıyım?"Bu şekilde sorduğunuzda sorunun cevabı daha anlaşılır mı?
Üçüncü bir veri kümesi alabilir misin?
Herkes aynı fikirde görünüyor, ancak tuhaf bir şekilde, elle seçilmiş veri kümelerinde harika sonuçlarla yayınlanan o kadar çok makaleniz var ki, hiç kimse başka bir veri kümesinde çoğaltamaz :-)
1) [...] Sonuçta, sadece bir deneme.2) [...] dürüstlüğü takdir ediyorum.3) [...] şunu öneriyor [...] - Pek çok kesinti var, kusura bakmayın, ama sorunuzun nasıl başladığı göz önüne alındığında, "dürüstlük" konusundaki dinamik bakış açınızı oldukça etkileyici buluyorum.
"Ne kadar dürüst" ve "sonuçları açıklamak" kelimelerini gördüğümde, sorunuzun cevabının "tamamen dürüst" olacağını biliyordum.
Aslında SYSK'deki sevimli insanlardan tam da bu konuya değinen bir podcast dinledim.Araştırmayla ilgili büyük bir sorun, yalnızca "* seksi *" sonuçların (tanımlayıcı, benim değil) rapor edilme eğiliminde olması ve yanıltıcı / tamamen yanlış bilgilere yol açmasıdır (ilgilenenler için: https://www.stuffyoushouldknow.com/podcast'ler / araştırma ipuçları-from-sysk.htm)
@jcaron, 'zorunluluk'un güçsüzlüğüdür.Ne yazık ki, yayın önyargısı bir gerçektir.
Üçüncü bir seçenek daha var: kötü metodoloji - ya verilerin toplanmasında ya da * hangi * verilerin toplanacağına karar vermede.
Bilime hoş geldiniz!
Gözlemlerinizin yarısından daha azını atmayı içeriyorsa, herhangi bir teorinin kanıtlanmış olarak kabul edilebileceği bilimsel atasözünü unutuyorsunuz.(Alaycı konuşuyorum.)
Anladığımdan emin olmak istiyorum.Makaleniz iki deneyi kapsıyor.İlki daha büyük bir veri kümesine sahipti ve önemli sonuçlar verdi, ancak değişkenleri yetersizdi.İkinci çalışmanın daha ilginç değişkenleri var, ancak çalışma önemli bir sonuç çıkarmak için çok küçüktü.Bu doğru mu?İkinci deneyi daha büyük bir çalışmayla tekrarlamayı haklı çıkarmak için tam olarak olmasını isteyeceğim şey gibi görünüyor.Deneme için bariz sonuç bu olmaz mıydı?
Sekiz yanıtlar:
Buffy
2018-12-10 23:36:54 UTC
view on stackexchange narkive permalink

Araştırmada, bir şeyin doğru olduğunu kanıtlamak için yola çıkmazsınız. Doğru olup olmadığını keşfetmek için yola çıktınız. Bu bilgi olacaktır. Diğeri sadece propaganda.

Negatif sonuçlar başarısızlık değildir. Olumlu sonuçlar gibi size kanıt sağlarlar. Sonuçları görmezden gelirseniz ya da belirsizleştirirseniz, kendinize ve başkalarına yalan söylüyorsunuz. Pozitif sonuçlar üretmesi garanti altına alınacak bir "deney" tasarlarsanız, bu araştırma değildir.

Bir şeyin doğru olduğunu ummak kanıt değildir. Birçok araştırmacı bu fikirle başlar. Ben bunun doğru olduğunu düşünüyorum. Ben gerçekten doğru olmasını istiyorum. Ama eğer yanlışsa, bunu bilmek ve nedenini araştırabilmek de (muhtemelen daha fazla) değerlidir.

Tüm sonuçlarınızı bildirin. Neden farklı yönlerin sizi farklı yönlere götürdüğünü açıklamaya çalışın. Ancak o zaman öğrenmeniz başlayabilir.

Bu cevabın doğru olmasını gerçekten istiyorum ama bu ...
Çoğunlukla bu.Bir şekilde tek "iyi" sonuçların yeni bir sonuca varanlar olduğu algısı var gibi görünüyor (ve bu iyi değil).Ama bu gerçekten _far_.Denenmemiş veya yeni bir yoldan beklenen veya geleneksel bir sonuca ulaşmak, aynı derecede yeni bir bilgidir, çünkü o yolu "tahmin edilen" durumdan "bilgi" ye götürür.Dahası, bir _ eski yolun _ replikasyonunun bile, bu mevcut sonuçlara olan güveni artırması bakımından hala bir miktar faydası vardır, özellikle.onlar hakkında önceden bir şüphe varsa.Kopyalar önemlidir.
[Ayrıca, kabul edilmiş bir teorinin tahminlerini yeni bir testle doğrulamanın da güveni artırmaya hizmet ettiğini belirtebilirim.Bu "kendinden emin bir şekilde kabul edilen" teoriler sadece sihirle ya da emirle bu şekilde olmaz.
Bu kadar heyecan verici olmayan sonuçlarla ilgili ana sorun, bu kar odaklı dünyada genellikle daha fazla fon sağlamamasıdır - doğrudan ve kolayca ticarileştirilebilir sonuçlar olmadan saf temel araştırma için fon bulmak zordur, tabii olduğunuz sürecebir çıkmaz sokağın peşinden gitmek yerine araştırmanızın tam olarak ne olduğunu değiştirmeye istekli, muhtemelen iyi olma olasılığınız - bununla birlikte, birden fazla çıkmaz / heyecan verici sonuçların olmaması, iş açısından size zarar verecektirbilimsel bakış açısı
"Doğru olup olmadığını keşfetmek için yola çıktınız."Genel amacın bir hipotezin doğru / yanlış olup olmadığını belirlemek olduğuna katılıyorum, ancak bunu ifade etme şekliniz kritik bir şekilde eksik, IMO.Bir hipotezin doğru olup olmadığını belirlemek için onu * çürütmeye * çalışıyoruz.Hipotezin yaptığı öngörüleri tahrif etmek amacıyla deneyler, araştırmalar vb. Tasarlarız.Ancak, bir şey onu çürütme girişimlerine dayandıktan sonra, test edilen koşullar altında muhtemelen doğru olduğunu düşünüyoruz.IMO, bu genellikle yanlış anlaşılan kritik bir alandır, genellikle insanların "haklı" olmak istemesi nedeniyle.
@Makyen, Ben biraz daha farklı ifade ederdim.İstatistiksel bir çalışmadaki olumlu bir sonuç, Hipotezin doğru olabileceğinin kanıtı değil, doğru olabileceğine dair kanıt sağlar.Çalışma yeterince sık tekrarlanırsa, kanıtlar oluşur.Ancak yalnızca eksiksiz bir popülasyon çalışması kanıt sağlayabilir ve nüfus zamanla değişirse bu imkansız olabilir, bu da kesin bir çoğaltmayı imkansız hale getirir.Kanıt değil, kanıt alırız.
"Farklı yönlerin sizi neden farklı yönlere götürdüğünü açıklamaya çalışın."Bunun biraz detaylandırılması gerektiğini düşünüyorum.Sanırım OP'nin farkı açıklayan yeni hipotezler aramaya başlaması gerektiğini kastediyorsunuz (örneklerden birinde hesaplanmamış bir değişken gibi).
Bu harika bir cevap ve OP'nin disiplinine uygun, ancak ilk paragraf matematikte geçerli olmayacak.
@Randall, bir matematikçiden diğerine katılmıyorum.Bir şeyi kanıtlamadan önce, "doğru olabilen" ve çalışmak için yeterince ilginç olan şeyin ne olduğunu incelemelisiniz.Kimse size teorem ifadelerini vermez (zaten mezun olduktan sonra).Matematiksel bir kanıt, bir keşif sürecinin yalnızca son adımıdır.İlk paragrafımdaki anahtar kelime "yola koyul ...".
@Buffy Sanırım bu şekilde ifade ederek size tekrar katılıyorum.
@Mayken, (baskın) yanlışlamacı paradigmayı açıklamanın iyi bir yoludur.Bayesliler muhtemelen tek bir sahteciliğin değerine daha az önem veriyorlar.
henning -- reinstate Monica
2018-12-10 23:30:04 UTC
view on stackexchange narkive permalink

Olumsuz bulguları göz ardı etmek ve seçici olarak yalnızca olumlu bulguları bildirmek, araştırma etiğinin ihlali anlamına gelir. Bir araştırmacı olarak bilgiyi gizlememek için * ortaya çıkarmanız gerekir. Bulgular genellikle çelişkilidir ve yorumlanması gerekir. Bu çelişkili sonuçları (yani yöntemlerinizi) nasıl elde ettiğinizi açıklayarak, başkalarının gelecekte çıkmazlardan kaçınmalarına ve bugün kafa karıştırıcı görünen şeyleri anlamalarına yardımcı oluyorsunuz.

* İlginç bir şekilde, araştırma yaratır, genellikle nihai kesinlikten çok üst düzey kafa karışıklığı biçimini alır.

+1 çünkü araştırma etiği yalnızca bir şey "yayınlanabilir" olduğunda geçerli olan bir şey değildir ("Sonuçta, bu sadece on sayfalık bir denemedir, yayınlanamaz veya başka bir şey olması gerekmiyor, değil mi?")
Ben
2018-12-11 06:49:53 UTC
view on stackexchange narkive permalink

Pek heyecan verici olmayan sonuçları ifşa etmekte ne kadar dürüst olmalıyım?

Her zaman tamamen dürüst olmalısınız: Her ikisinin de sonuçlarını göster veri kümeleri ve sonucun verilerden gelmesine izin verin. İki veri kümesinin kalitesi ve örnek boyutları hakkında objektif bir şekilde yorum yapın, ancak verileri yalnızca istenmeyen veya heyecan verici olmayan sonuçlar verdiği için dışlamayın. Veri kümeleri arasındaki farklar açısından, neden farklı olduklarını biliyorsanız, bunu açıklayın ve neden farklı olduklarını bilmiyorsanız, öyle söyleyin - spekülasyonlarınızı bilimsel sonuçlar olarak sunmayın.

Bu cevabı çok beğendim.Dürüst olan makalelere çok saygı duyuyorum - sonuçları "gösteren" ve yazarın sonuçlarının dürüst değerlendirmesini belirsizleştiren makaleler, çoğu zaman diğer araştırmacılara çok zamana mal oluyor.Eğer şeyler "yazarın iddia ettiği kadar doğru" değilse, bir tekniği öğrenmeye veya bir sonucu yeniden üretmeye çalışırken çok fazla zaman harcanabilir, ki bu hiç de yararlı değildir ...
Keith
2018-12-11 07:56:27 UTC
view on stackexchange narkive permalink

Seçenek (3) için, 'yoksa henüz anlamadığım bir şey var "ekleyin.

Bu, çok daha fazla ilginç.

Lisans kursunuz size soruları nasıl cevaplayacağınızı öğretmek için orada.

Herhangi bir disiplinin araştırmasında önemli olan doğru cevapları almak değil, doğru soruları sormaktır.

Yani, her iki veri kümesini de sunun, tutarsızlığı belirtin ve bunun neden ilginç olduğunu ve neden takip etmeye değer olduğunu açıklamaya çalışın.

Böyle bir mini araştırma problemi ortaya koymak, sizi basitçe sahip olmaktan çok daha fazla öne çıkarabilir sonuç.

Bu en iyi yol olarak öne çıkıyor.Bir yandan, sizi hiçbir yere götürmeseler bile uygun yöntemlerin kullanılması çok önemlidir.Öte yandan, eğer yayın arıyorsanız, birisinin ilgisini çekmelidir.[Kedi pireleri ve köpek pirelerinin atlama yüksekliklerinin karşılaştırılması] (https://www.ncbi.nlm.nih.gov/pubmed/10962162), farklı oldukları sonucundan faydalanır.Sizin için ilginç olan, veri kümeleri arasındaki farktır.Uyarı: Size sorulacağından emin olabilirsiniz, bu nedenle ya bu konuyu biraz araştırmanız ya da neden işinizin kapsamı dışında kaldığını açıklamanız gerekir.
M. M.
2018-12-11 06:51:40 UTC
view on stackexchange narkive permalink

Ben de sadece öğrenciyim (yüksek lisans düzeyinde), ancak burada her iki veri kümesini de gösterme seçeneğinin 3. seçeneğiyle gitmek için birkaç neden daha var:

  • Henning'de belirtildiği gibi yorum, belki de alışılmadık sonuçlarınızı daha fazla araştırma yapmak için bir basamak olarak kullanabilir ve bunu başvurunuza ekleyebilirsiniz. Tatmin edici olmayan sonuçları bu şekilde ele almak, motivasyonunuz ve dayanıklılığınız olduğunu gösterebilir.

  • İyi bir iş çıkardıysanız ve bunu "iyi sonuçlar" almadan bile gösterdiyseniz, En azından bir potansiyele sahip olduğunuzu.

  • Ayrıca, insanların genellikle sadece ellerinden gelenin en iyisini yaptıkları uygulamalar bağlamında, kabul komitesi dürüstlüğünüze gerçekten değer verebilir ve saygı duyabilir . Bilimi birinci sıraya koyduğunuzu gösterebilir.

APH
2018-12-11 01:15:48 UTC
view on stackexchange narkive permalink

Belirgin sonuçlarınız büyük bir etki boyutu mu yoksa büyük örneklem boyutu nedeniyle önemli olan küçük bir değişiklik mi?

Önemsiz sonuçlarınız yön ve büyüklük açısından aşağıdaki önemli sonuçlara benzer mi? Diğer veri kümesi mi?

Veri kümesinin boyutunun gördüklerinizi ne kadar etkilediğini düşünün. Bir çalışmayı, öneminden ayrı olarak aynı fikirde ise diğerinin sonuçlarını doğrulayan olarak çerçeveleyebilirsiniz. Yalnızca p değerlerinden daha fazlasına bakın, özellikle de çok büyük bir veri kümesinden geliyorlarsa.

AdamO
2018-12-12 03:29:07 UTC
view on stackexchange narkive permalink

Bir an için veri kümelerini (ve bunlardan elde edilen sonuçları) yanlış bir şekilde karşılaştırıyor olabileceğinizi düşünün. "Önem" veya daha doğrusu güç, tasarımdan bağımsız değildir. A Çalışması 1.000 kişi üzerinde yapılıyorsa, ancak Çalışma B aynı ise ancak sadece 100 gönüllü içeriyorsa, Çalışma A çok daha güçlüdür, bu nedenle A'dan (istatistiksel olarak) önemli bulgular ve B'den (istatistiksel olarak) anlamlı olmayan bulgular şaşırtıcı değildir. İki çalışmayı karşılaştırmak için daha iyi yöntemler var, örneğin bir orman arsası.

Bundan söz ediyorum çünkü her şey, bu uygulama için satmaya çalıştığınız "size" bağlı. Lisans düzeyinde bir sosyoloğun lisans düzeyinde istatistik eğitimi almasına gerek yoktur, ancak bunu bir güç olarak övüyorsanız, bir dizi bulguyu doğru yorumladığınızdan emin olmalısınız.

" negatif "(sonuç veya çalışma), istatistiksel terminolojinin kötüye kullanılmasıdır. Güç, bağlam ve kesinlik sorunları vardır; ama usta araştırmacılar bebeği banyo suyuyla birlikte dışarı atıyorlar. Bir an için durun ve düşünün: "H_0'ı reddetmeyin", güven limitlerinin boş varsayılmış değerleri içerdiği anlamına gelir: farklılıklar için 0 veya oranlar için 1. Ne olmuş yani?

1) Bu çalışma yeterince güçlendirilmiş miydi yoksa tam bir karanlıkta atış mı? Büyük, savunulamaz güven aralıkları berbat bir çalışmayı temsil edebilir veya popülasyondaki önemli heterojenliği yansıtabilir. İşe alma veya uyum ile ilgili sorunlar var mıydı? İnsanları daha iyi telafi etmeniz mi gerekiyordu? Mevcut bir enstrümanı kullandınız mı ve öyleyse, ifadenin net olduğundan emin olmak için kendinizi veya hastaları değerlendirdiniz mi? Bir tren kazası çalışmasıysa, öğrenilen derslere odaklanabilirsiniz. Örneğin.

Yanlış bir güç hesaplamasına dayanarak 30 kişiyi işe aldık, etki tahminimiz önceki literatürde belirtilenden çok daha küçük bir boyuta sahipti. Hesaplamamızın önceki araştırmaya dayandığına göre bu, bazı endişelerin sebebidir ...

2) CI, diğer tüm araştırmaları hariç tutarak dar bir şekilde 0 veya 1'de mi? Bu, diğer literatürle tutarsız olduğu için önemli bir bulgudur. Yayın önyargısının etkilerini belirlemeye adanmış bir araştırma alanı var. Huni Grafikleri, meta analizlerden beklenen etkilerin dağılımını gösterir. Dağılım H0'da bir boşlukla kaydırılırsa, kanıt durumunun boş bulguları filtreleyerek abartıp abartmadığına dair biraz duraklama olur. Önemli bir dönüm noktası araştırması kesin olarak şunu söyleyebilir: "Hayır. Belirli bir tedavi farklılığa neden olmaz / olamaz.

3) CI geniş mi, ancak önceki araştırmayı doğrulayan bir sonuca odaklanmış. Örneğin:

5.000 kişilik bir tuz azaltma çalışması, MI için HR'nin% 0,95 95 CI 0,92, 0,99 (p < 0.05) olduğunu buldu. 100 kişilik bir doğrulama çalışması, MI için 0,95 değerinde bir HR bulundu 95 % CI 0.5, 1.45. (P> 0.05).

Önemlisi bu çalışmalar% 100 aynı fikirde.

Ryan
2018-12-14 02:06:28 UTC
view on stackexchange narkive permalink

Kulağa çok ilginç geliyor. Elbette oyunda istatistiksel sorunlar var, sizi caydırmak istemiyorum ama matematiği yaptığınızdan emin olmalısınız (veri toplama ve metodoloji dahil), ancak iki yöntemi karşılaştırarak çok güçlü bir makale yazabilirsiniz. . Şuna benzer bir şey:

  • Ucuz ve hakkında veri toplamak kolay olan A Yöntemi, ancak önyargı içereceğine dair endişelerimiz var, olumlu bir sonuç veriyor.

  • Öte yandan, hakkında veri toplamak zor ve pahalı olan ancak çok daha kapsamlı olan ve önyargı içermesi beklenmeyen B Yöntemi olumsuz bir sonuç verir.

  • Bu nedenle, araştırmacılar A yöntemini kullanmaktan kaçınmalıdır.

Her şeye rağmen, böyle yazılmış bir makale yayınlamak için bir günlük alabileceğinize bahse girerim. Analiz, veri toplama vb. gibi konular, sınıfta iyi bir not almayı bir kenara bırakın.

Aslında, "Bu nedenle ..." ifadeniz hiç de şaşırtıcı değil, bu yüzden muhtemelen bir yayın adayı değil.Önyargı içermesi beklenen herhangi bir metodolojiyi kullanmak, onu ölçmenin yolları yoksa (maliyet eklemek ...) kusurludur.
Hayır, sanırım beni yanlış anladın çünkü bu yanıtı öğle yemeği molasında tokatladım.Bu benim hatam.Bunu düşünme şeklim, OP'nin görünüşe göre iki farklı şekilde toplanmış bir sürü veriye sahip olmasıydı.
OP'den "Bir veri setini kullanmak (daha fazla gözlem içerir) bana çok önemli sonuçlar verirken (tartışmalı olarak daha doğru olacak) başka bir veri seti kullanmak bana hiçbir şey vermez."A yönteminin önyargılı olduğu önceden bilinmiyordu.Düşündüğüm makalenin, daha önceden bilinmeyen A yönteminin önyargılı olduğunu gösteren bir kanıt olduğuna inanıyorum.
Elbette kapsamlı bir literatür incelemesi yapmanız ve bildirdiğiniz önyargının önceden bilinmediğinden emin olmanız gerekir, ancak araştırma bununla ilgilidir.


Bu Soru-Cevap, otomatik olarak İngilizce dilinden çevrilmiştir.Orijinal içerik, dağıtıldığı cc by-sa 4.0 lisansı için teşekkür ettiğimiz stackexchange'ta mevcuttur.
Loading...