Yeni bir araştırma, yapay zekanın (YZ) çoğu insanın kolaylıkla yapabildiği ancak analog saati okuma veya bir tarihin hangi güne denk geldiğini hesaplama gibi başka bir dizi görevi daha başaramadığını ortaya koydu.
Yapay zeka kod yazabilir, gerçekçi görüntüler üretebilir, insan sesine benzer metinler oluşturabilir ve hatta sınavları geçebilir ( değişen başarı derecelerine göre ) ancak günlük saatlerdeki kolların konumunu yanlış yorumlar ve takvim tarihleri için gereken temel aritmetikte başarısız olur.
Araştırmacılar bu beklenmedik kusurları 2025 Uluslararası Öğrenme Temsilleri Konferansı’nda (ICLR) bir sunumda ortaya koydular
“Çoğu insan saati söyleyebilir ve takvimleri erken yaşlardan itibaren kullanabilir. Bulgularımız, yapay zekanın insanlar için oldukça temel becerileri yerine getirme becerisinde önemli bir boşluk olduğunu vurguluyor,” diyor Edinburgh Üniversitesi’nde araştırmacı olan çalışmanın baş yazarı Rohit Saxena bir açıklamada .
Yapay zeka sistemlerinin planlama, otomasyon ve yardımcı teknolojiler gibi zamana duyarlı, gerçek dünya uygulamalarına başarılı bir şekilde entegre edilmesi için bu eksikliklerin giderilmesi gerekiyor.”
Yapay zekanın zaman tutma yeteneklerini araştırmak için araştırmacılar, görsel ve metinsel bilgileri işleyebilen çeşitli çok modlu büyük dil modellerine (MLLM) özel bir saat ve takvim görselleri veri kümesi beslediler. Çalışmada kullanılan modeller arasında Meta’nın Llama 3.2-Vision, Anthropic’in Claude-3.5 Sonnet, Google’ın Gemini 2.0 ve OpenAI’nin GPT-4o’su yer alıyor.
Sonuç da modeller bir saat görüntüsünden doğru zamanı veya örnek bir tarih için haftanın gününü yarıdan fazla bir sürede belirleyemedi.
Ancak araştırmacıların, yapay zekanın şaşırtıcı derecede zayıf zaman okuma yeteneklerine dair bir açıklaması var.
Erken sistemler etiketli örneklere dayalı olarak eğitiliyordu. Saat okumak farklı bir şey gerektirir — mekansal akıl yürütme,” dedi Saxena. “Model, üst üste binen kolları algılamalı, açıları ölçmeli ve Roma rakamları veya stilize kadranlar gibi çeşitli tasarımlarda gezinmelidir. Yapay zekanın ‘bu bir saattir’ demesi, onu gerçekten okumaktan daha kolaydır.”
Tarihler de aynı derecede zordu. “Yılın 153. günü hangi gün olacak?” gibi bir meydan okuma verildiğinde, başarısızlık oranı benzer şekilde yüksekti: AI sistemleri saatleri yalnızca %38,7 ve takvimleri yalnızca %26,3 oranında doğru okuyordu.
Bu eksiklik de benzer şekilde şaşırtıcıdır çünkü aritmetik, hesaplamanın temel bir köşe taşıdır, ancak Saxena’nın açıkladığı gibi, AI farklı bir şey kullanır. “Aritmetik, geleneksel bilgisayarlar için önemsizdir, ancak büyük dil modelleri için değildir. AI, matematik algoritmaları çalıştırmaz, eğitim verilerinde gördüğü kalıplara dayanarak çıktıları tahmin eder,” dedi. Bu nedenle, aritmetik sorularını bazen doğru yanıtlasa da, muhakemesi tutarlı veya kural tabanlı değildir ve çalışmamız bu boşluğu vurgulamaktadır.”