OpenAI’nin yeni akıl yürütme tekniği, AI güvenliği uzmanlarını alarma geçirdi
· FikirPilot
OpenAI’nin yeni Astra modelinde kullanacağı bildirilen “recurrent depth” tekniği, yapay zekâ güvenliği uzmanlarını endişelendirdi. The Information’ın haberine göre “opaque recurrence” olarak da adlandırılan yöntem. Aslında, modelin çoğu akıl yürütme modelindeki sıralı düşünme biçiminin dışına…
OpenAI’nin yeni Astra modelinde kullanacağı bildirilen “recurrent depth” tekniği, yapay zekâ güvenliği uzmanlarını endişelendirdi. The Information’ın haberine göre “opaque recurrence” olarak da adlandırılan yöntem. The Information’ın haberine göre “opaque recurrence” olarak da adlandırılan yöntem, modelin çoğu akıl yürütme modelindeki sıralı düşünme biçiminin dışına çıkarak aynı sorguyu bir döngü içinde birden fazla kez işlemesine olanak tanıyor. Bu yaklaşım, modelin düşünce zincirini izlemeyi zorlaştırabilir.
Redwood CEO’su Buck Shlegeris, Astra’nın bu tekniği kullanmasından “son derece endişeli” olduğunu belirtti. Zvi Mowshowitz ise yapay zekâ şirketleri arasındaki bir “dibe doğru yarış”ı önlemek için yasalara ihtiyaç duyulabileceğini savundu. Uzmanlara göre geleneksel düşünce zinciri kayıtları, modelin sorun çözerken izlediği adımları tamamen kusursuz biçimde göstermese de hatalı veya uyumsuz davranışları incelemek için önemli bir araç. OpenAI’nin son dönemdeki başıboş ajan faaliyetlerinin incelenmesinde de bu kayıtlar kullanıldı.
Astra’da yöntemin kullanımının şimdilik sınırlı olduğu, modelin düşünce zincirinin yine okunabilir kalmasının beklendiği aktarıldı. OpenAI, modelin “neuralese” geçeceği yönündeki yorumları reddetti ve düşünce zincirlerinin izlenebilirliğine bağlılığını yineledi. Baş bilim insanı Jakub Pachocki, bu izlemeyi ilk akıl yürütme modellerinden beri korumanın araştırma programının temel hedeflerinden biri olduğunu söyledi.
Buna rağmen yöntemin yaygınlaşması halinde izlenebilirliğin daha da azalabileceği belirtiliyor. The Information, Anthropic ve Google DeepMind’ın da teknik hakkında görüştüğünü bildirdi. Redwood Research baş bilim insanı Ryan Greenblatt ise opak akıl yürütmenin büyüyerek modelin düşüncelerini tamamen veya büyük ölçüde gizli uzaya taşımasından endişe ettiğini açıkladı.
Bu yaklaşımın yaygınlaşması, yapay zekâ sistemlerinin neden belirli bir sonuca ulaştığını denetleyen güvenlik süreçlerini zorlaştırabilir. Düşünce zincirleri kusursuz bir denetim kaydı olmasa da hatalı veya uyumsuz davranışları incelemek için kullanılan başlıca araçlardan biri olduğundan. Bu kayıtların kısmen opaklaşması araştırmacıların sorunları teşhis etme kapasitesini etkileyebilir. Şimdilik Astra için izlenebilirliğin korunmasının beklenmesi, tartışmanın mevcut modelden çok yöntemin gelecekte ne ölçüde kullanılacağına odaklandığını gösteriyor. Aynı teknikle Anthropic ve Google DeepMind’ın da ilgilenmesi, konunun tek bir şirketin ürün tercihi olmaktan çıkıp yapay zekâ güvenliği standartları. Aynı teknikle Anthropic ve Google DeepMind’ın da ilgilenmesi, konunun tek bir şirketin ürün tercihi olmaktan çıkıp yapay zekâ güvenliği standartları ve olası düzenleme ihtiyacıyla ilişkilendiğine işaret ediyor.