OpenAI ve Anthropic'in eski çalışanından korkutan uyarı geldi
· Dünya Gazetesi
OpenAI ve Anthropic’te çalışan araştırmacı Jacob Coxon, yapay zekâ yarışındaki hız baskısının güvenliği zayıflattığını savunarak sektörden ayrıldı. Coxon, en agresif senaryolarda 2027 sonuna kadar kontrol riskinin büyüyebileceğini söylüyor.
OpenAI'de GPT-4o'nun geliştirilmesinde görev alan, ardından Anthropic'e geçen 27 yaşındaki araştırmacı Jacob Coxon, 8 Eylül'de şirketten ve yapay zekâ sektöründen ayrıldı. Coxon'ın gerekçesi tek bir şirketin politikası değil; sektörün tamamını daha güçlü modeller geliştirmeye zorlayan rekabet düzeni.
Coxon, yaklaşık üç yıl boyunca büyük dil modellerinin ön eğitim çalışmalarında görev yaptı. OpenAI'den ayrıldıktan sonra güvenlik yaklaşımını daha güçlü bulduğu Anthropic'e geçen araştırmacı, burada da aynı temel sorunla karşılaştığını söylüyor.
Ona göre OpenAI, Anthropic ve diğer yapay zekâ laboratuvarları rakiplerinden geri kalmamak için modellerinin yeteneklerini sürekli artırmak zorunda. Bir şirket güvenlik gerekçesiyle yavaşladığında, başka bir şirketin teknolojik üstünlüğü ele geçirme ihtimali ortaya çıkıyor.
Coxon'ın asıl endişesi de burada başlıyor. Şirketler güvenliğin önemli olduğunu kabul etse bile rekabet şartlarının onları giderek daha hızlı hareket etmeye zorladığını düşünüyor.
Araştırmacı bu tabloyu anlatırken şirketlerin "hayatlarımızla kumar oynadığını" söyleyecek kadar sert bir ifade kullanıyor.
Coxon'ın dikkat çektiği en yakın risk penceresi ise 2027'nin sonu.
Ancak bu tarih, yapay zekânın 2027'de kesin olarak kontrolden çıkacağı anlamına gelmiyor. Coxon bunu, teknolojik ilerlemenin en hızlı senaryolardan biri doğrultusunda devam etmesi halinde karşılaşılabilecek bir eşik olarak değerlendiriyor.
Endişenin merkezinde, yalnızca sorulara cevap veren modellerden kendi araştırmasını yapabilen ve yeni teknolojiler geliştirebilen sistemlere geçiş bulunuyor.
Bir yapay zekâ sisteminin yapay zekâ araştırmalarının kendisini hızlandırabilecek seviyeye ulaşması durumunda gelişme sürecinin bugünkünden çok daha hızlı ilerleyebileceği düşünülüyor.
Bu senaryoda insan araştırmacıların sistemlerin yeteneklerini değerlendirmesi, güvenlik açıklarını bulması ve gerektiğinde müdahale etmesi giderek zorlaşabilir.
Bugünkü büyük yapay zekâ laboratuvarlarının milyarlarca dolarlık hesaplama altyapıları kurmasının nedeni yalnızca kullanıcıya daha iyi sohbet robotları sunmak değil.
Şirketler kod yazabilen, araştırma yapabilen, bilgisayar sistemlerini kullanabilen ve giderek daha karmaşık görevleri insan müdahalesi olmadan tamamlayabilen modeller geliştiriyor.
Coxon'a göre sorun bu yeteneklerin geliştirilmesi değil, yetenek artışının güvenlik kapasitesinden daha hızlı ilerleme ihtimali.
Laboratuvarlardan biri önemli bir teknik sıçrama gerçekleştirdiğinde diğerlerinin aylarca güvenlik çalışması yaparak beklemesinin ticari ve stratejik olarak giderek zorlaşacağını savunuyor.
Bu nedenle Coxon, yapay zekâ güvenliğinin yalnızca şirketlerin kendi kararlarına bırakılamayacağını düşünüyor.
Coxon'ın en çarpıcı değerlendirmelerinden biri, gelişmiş yapay zekâ araştırmalarının yürütüldüğü ortamlarla ilgili.
Araştırmacı, insanlık açısından büyük sonuçlar yaratabilecek teknolojilerin sıradan ofis koşullarında ve internete bağlı bilgisayarlarda geliştirilmesini yeterince güvenli bulmuyor.
Onun yaklaşımına göre en ileri modellerin geliştirildiği merkezler, kritik askerî veya nükleer araştırma tesislerine benzer ölçüde kontrollü olmalı.
Bu görüş yalnızca bina güvenliğini kapsamıyor. Model ağırlıklarının korunması, çalışanların erişim seviyeleri, dış ağ bağlantıları, deney ortamlarının izole edilmesi. Yapay zekâ ajanlarının gerçek sistemlere ulaşmasının sınırlandırılması da aynı güvenlik zincirinin parçaları.
Yapay zekâ güvenliği tartışmasının son dönemde sertleşmesinin nedenlerinden biri, modellerin gerçek bilgisayar sistemlerini kullanmaya başlaması.
OpenAI'ın daha önce yayımladığı bir güvenlik değerlendirmesinde gelişmiş yapay zekâ ajanlarının test ortamlarında beklenmedik yollar bularak kendilerine konulan bazı teknik sınırlamaları aşabildiği ortaya çıktı.
Şirket olayın ardından daha izole deney ortamları, daha sıkı ağ kontrolleri. Şirket olayın ardından daha izole deney ortamları, daha sıkı ağ kontrolleri ve riskli davranışların daha erken durdurulmasına yönelik önlemler üzerinde çalıştığını açıkladı.
Bu tür vakalar doğrudan "kontrolden çıkan yapay zekâ" anlamına gelmiyor. Ancak modellerin yetenekleri arttıkça yalnızca verecekleri cevapların değil, bilgisayar sistemleri üzerinde gerçekleştirebilecekleri eylemlerin de denetlenmesi gerektiğini gösteriyor.
Araştırmacının vardığı sonuç, OpenAI veya Anthropic'in kötü niyetli şirketler olduğu yönünde değil.
Tam tersine Coxon, Anthropic'in güvenlik çalışmalarını ciddi ve samimi bulduğunu söylüyor. Buna rağmen bir şirketin tek başına daha ihtiyatlı davranmasının sektörün yönünü değiştirmeye yetmeyeceğini düşünüyor.
Çünkü yapay zekâ geliştirme yarışı artık yalnızca şirketler arasında değil, ülkeler arasında da stratejik rekabet konusu haline geldi.
Coxon bu nedenle hükümetlerin ve büyük yapay zekâ laboratuvarlarının ortak güvenlik sınırları belirlemesi gerektiğini savunuyor. Aksi halde her oyuncunun "rakibim önce yapabilir" kaygısıyla hareket ettiği bir sistem ortaya çıkıyor.
Yapay zekânın gelecekte insanlık için risk oluşturabileceğine ilişkin uyarılar yeni değil. Ancak Coxon'ın açıklamasını farklılaştıran unsur, bu uyarının teknolojiyi dışarıdan izleyen bir akademisyen veya yorumcudan gelmemesi.
Coxon hem OpenAI'nin hem Anthropic'in model geliştirme süreçlerinin içinde çalıştı. Coxon hem OpenAI'nin hem Anthropic'in model geliştirme süreçlerinin içinde çalıştı ve dünyanın en güçlü yapay zekâ sistemlerinden bazılarının nasıl eğitildiğini doğrudan gördü.
Şimdi ise sektörün ilerleme hızının güvenlik kapasitesini aşabileceğini düşünerek kariyerini yapay zekâ dışında sürdürmeye karar verdi.
Bu nedenle tartışmanın merkezindeki soru artık yapay zekânın ne kadar güçlü hale geleceğinden çok. Bu nedenle tartışmanın merkezindeki soru artık yapay zekânın ne kadar güçlü hale geleceğinden çok, şirketlerin bu gücü kontrol edecek güvenlik sistemlerini aynı hızda geliştirip geliştiremeyeceği.