BLOG

AB Yapay Zekâ Yasası ve Sınav Gözetimi: Duygu Tanıma Yasağı ve İnsan Gözetimi

AB Yapay Zekâ Yasası ve Sınav Gözetimi: Duygu Tanıma Yasağı ve İnsan Gözetimi
Yönetici20 Kasım 202612 görüntülenmeMevzuat ve Uyum
İçindekiler8

Avrupa Birliği'nin Yapay Zekâ Yasası (Regulation (EU) 2024/1689), yapay zekâ kullanan her sınav gözetim sistemini doğrudan ilgilendiriyor. AB Yapay Zekâ Yasası sınav gözetimi için iki net çizgi çiziyor. Birincisi, eğitim kurumlarında kişinin duygularını çıkaran yapay zekâ sistemlerini yasaklıyor. İkincisi, sınav sırasında yasaklı davranışı izleyen sistemleri yüksek riskli sayıyor ve bu sistemlerin insan tarafından etkili biçimde denetlenmesini istiyor.

Bu yazıda yalnız Yasa'nın EUR-Lex'te yayımlanan metninden doğruladığımız maddeleri aktarıyoruz. Yasa'nın genel uyum adımlarını daha önce AB Yapay Zekâ Tüzüğü uyum rehberimizde anlattık. Bu yazı iki konuya odaklanıyor: duygu tanıma yasağı ve insan gözetimi.

Not: Bu yazı genel bilgilendirme amaçlıdır, hukuki tavsiye değildir. Maddeler Yasa'nın ilk yayımlanan metninden aktarılmıştır. Sonradan yapılan değişiklikler ve uygulama takvimi için EUR-Lex'teki güncel konsolide metne ve hukuk danışmanınıza başvurun.

İçindekiler

Yasa Türkiye'deki bir kurumu neden ilgilendirir?

Yasa'nın 2. maddesi kapsamı yalnız AB'de kurulu şirketlerle sınırlamaz. Üçüncü bir ülkede kurulu sağlayıcı ve kullanıcılar da, yapay zekâ sisteminin ürettiği çıktı AB'de kullanılıyorsa kapsama girer (m. 2/1-c). Bu nedenle şu durumlarda Yasa'yı dikkate almanız gerekir:

  • AB'deki adaylara sınav yapıyorsanız,
  • AB'deki bir kurumla ortak program ya da belgelendirme yürütüyorsanız,
  • Sınav sonuçlarınız AB'de bir kabul, işe alım ya da belgelendirme kararında kullanılıyorsa.

Duygu tanıma yasağı: eğitimde kesin çizgi

Yasa'nın 5. maddesi "yasaklanan yapay zekâ uygulamalarını" sayar. 5/1-f bendi, işyeri ve eğitim kurumlarında gerçek kişilerin duygularını çıkarmak için yapay zekâ sistemlerinin piyasaya sunulmasını, hizmete alınmasını ve kullanılmasını yasaklar. Tek istisna, tıbbi ya da güvenlik amaçlı kullanımdır.

Yasa'nın 3. maddesinin 39. bendi "duygu tanıma sistemini" de tanımlar: gerçek kişilerin biyometrik verilerine dayanarak duygularını ya da niyetlerini belirlemeye veya çıkarmaya yönelik yapay zekâ sistemi.

Sınav gözetimi açısından bunun anlamı şudur: Adayın "gergin", "endişeli" ya da "kopya çekmeye niyetli" olduğunu yüzünden veya sesinden çıkaran bir sistem, eğitim bağlamında yasak alana girer. Yasa'nın ilk metnine göre I. ve II. bölümler (yasaklar dahil) 2 Şubat 2025'ten itibaren uygulanır (m. 113/a).

QProctor'un yapay zekâsı neye bakar?

QProctor'un yapay zekâ analizleri gözlemlenebilir olaylara bakar:

AnalizNe kontrol eder?
CanlılıkKameradaki kişinin canlı olduğu (rastgele baş hareketi)
Bakış yönüAdayın ekrandan uzun süre ayrılıp ayrılmadığı
Nesne tanımaTelefon, kitap, ikinci ekran
Yüz doğrulamaSınavdaki kişinin aktivasyondaki kişiyle aynı olup olmadığı
Kişi sayımıKadrajda birden fazla kişi olup olmadığı
Kimlik kartı okumaT.C. no, ad ve soyadın okunması
SesOdada ikinci bir ses ya da konuşma
Işık ve netlikGörüntünün değerlendirilebilir olup olmadığı

Bu listede kişinin duygusunu ya da niyetini çıkaran bir analiz yoktur. Örüntü analizi de yalnız olayların süresine ve tekrarına bakar. Analizlerin ayrıntısı için AI gözetmen sayfasını inceleyebilirsiniz.

Sınav gözetimi neden "yüksek riskli" sayılır?

Yasa'nın 6. maddesinin 2. fıkrası, Ek III'te sayılan sistemleri yüksek riskli kabul eder. Ek III'ün 3. maddesi "eğitim ve mesleki eğitim" alanıdır ve dört kullanım sayar:

  1. Eğitim kurumlarına erişim, kabul ya da yerleştirme kararı (3-a),
  2. Öğrenme çıktılarının değerlendirilmesi (3-b),
  3. Kişinin alacağı eğitim düzeyinin belirlenmesi (3-c),
  4. Sınav sırasında öğrencilerin yasaklı davranışlarının izlenmesi ve tespiti (3-d).

Son bent, online sınav gözetimini doğrudan anar.

Ayrıca 6. maddenin 3. fıkrası bazı istisnalar tanır. Örneğin dar bir prosedür görevi ya da insan değerlendirmesine hazırlık niteliğindeki sistemler belirli koşullarda yüksek riskli sayılmayabilir. Ancak bu değerlendirmeyi sağlayıcı belgelemek zorundadır. Kişilerin profilini çıkaran sistemler ise her durumda yüksek riskli kalır.

İnsan gözetimi: 14. madde ne istiyor?

Yasa'nın 14. maddesi, yüksek riskli sistemlerin kullanım süresince gerçek kişiler tarafından etkili biçimde denetlenebilecek şekilde tasarlanmasını ister. 4. fıkra, gözetimle görevlendirilen kişinin şunları yapabilmesini bekler:

  • Sistemin yeteneklerini ve sınırlarını anlamak, işleyişini izlemek,
  • Otomasyon yanlılığının, yani sistemin çıktısına fazla güvenme eğiliminin farkında olmak,
  • Sistemin çıktısını doğru yorumlamak,
  • Herhangi bir durumda çıktıyı dikkate almamaya, geçersiz kılmaya ya da tersine çevirmeye karar verebilmek,
  • Sisteme müdahale edebilmek ya da onu güvenli biçimde durdurabilmek.

QProctor'da insan gözetimi nasıl işler?

QProctor'un ilkesi "Yapay zekâ işaretler, kararı insan verir." Bu ilke ürünün şu parçalarına yansır:

  • İşaret, karar değildir. Yapay zekâ şüpheli anı, o anın karesiyle ve olay türüyle birlikte gösterir. Aday hakkında otomatik bir karar vermez.
  • Not değişmez. LMS not defterine giden bütünlük puanı (100 − risk) notun yanına bilgi olarak düşer, notu değiştirmez.
  • Görevli müdahale eder. Canlı gözetimde görevli adaya mesaj gönderebilir, sesli uyarı verebilir, ekranı kilitleyebilir, ek süre ya da ek hak tanıyabilir, sınavı sonlandırabilir.
  • İnceleme sonradan da yapılır. Sınav sonrası inceleme modunda görevli, olaya bağlı kayıt oynatıcıyla kanıtı izler ve kendisi karar verir.
  • Duyarlılık kurumun elindedir. Yapay zekâ duyarlılığı Hassas, Dengeli ya da Toleranslı olarak ayarlanabilir.

Canlı gözetim araçlarının tamamı için canlı gözetim sayfasına bakabilirsiniz.

Kurumun yükümlülükleri: 26. madde

Yasa, sistemi kullanan kurumu "deployer" (uygulayıcı) olarak adlandırır ve 26. maddede yükümlülüklerini sayar. Sınav yapan kurumlar için öne çıkanlar şunlardır:

MaddeYükümlülükSınavda karşılığı
26/1Sistemi kullanım talimatına uygun kullanmakGözetim ayarlarını sağlayıcının belgelerine göre yapmak
26/2İnsan gözetimini yetkin, eğitimli ve yetkili kişilere vermekİnceleme yapacak görevlileri belirlemek ve eğitmek
26/6Sistemin otomatik ürettiği kayıtları amaca uygun bir süre, en az altı ay saklamak (AB ya da ulusal hukukta aksi yoksa)Kayıt saklama süresini bu sınırı dikkate alarak belirlemek
26/11Ek III sistemleriyle karar veren ya da karara yardımcı olan kurumun, kişileri sistemin kullanıldığı konusunda bilgilendirmesiAdaya gözetimde yapay zekâ kullanıldığını önceden söylemek

Ek olarak 27. madde, kamu hukukuna tabi kurumların ve kamu hizmeti sunan özel kuruluşların, belirli yüksek riskli sistemleri kullanmadan önce temel haklar etki değerlendirmesi yapmasını ister. 4. madde ise sağlayıcı ve kullanıcıların, sistemi kullanan personelin yapay zekâ okuryazarlığını sağlamak için önlem almasını bekler.

QProctor'da kayıt saklama süresini kurum seçer. Bu nedenle 26/6'daki asgari süreyi ve kendi veri koruma kurallarınızı birlikte değerlendirip süreyi ayarlayabilirsiniz. Veri merkezi bölgesi olarak AB seçilebilir.

Açıklama hakkı: 86. madde

86. madde, Ek III'teki bir yüksek riskli sistemin çıktısına dayanan ve kişiyi önemli ölçüde etkileyen bir karara konu olan kişiye, yapay zekânın karardaki rolü ve kararın ana unsurları hakkında açık ve anlamlı bir açıklama isteme hakkı tanır.

Bu hak, sınav sonrası itiraz sürecinizin kanıta dayalı olmasını gerektirir. QProctor'un kanıt dosyası bu açıklamayı kurmanıza yardım eder:

  • İhlal anları, o anın karesiyle,
  • Kamera, ekran ve ikinci kamera kaydı,
  • TÜBİTAK zaman damgası,
  • 0–100 risk puanı ve olay türleri,
  • PDF rapor.

Bu kanıtlar görevliye "sistem ne gördü?" sorusunun yanıtını verir. "Ne karar verildi ve neden?" sorusunun yanıtını ise insan yazar. Kanıt dosyasının içeriği için kanıt ve rapor sayfasına bakabilirsiniz.

Kurumlar için kontrol listesi

  • [ ] Sınav çıktılarınız AB'de kullanılıyor mu? (m. 2/1-c)
  • [ ] Gözetim sisteminizde duygu ya da niyet çıkaran bir özellik var mı? (m. 5/1-f)
  • [ ] İnceleme yapacak görevliler belirlendi ve eğitildi mi? (m. 26/2, m. 4)
  • [ ] Yapay zekâ işaretini geçersiz kılma yetkisi görevlide mi? (m. 14/4-d)
  • [ ] Adaylara yapay zekâ kullanımı önceden bildiriliyor mu? (m. 26/11)
  • [ ] Kayıt saklama süresi belirlendi mi? (m. 26/6)
  • [ ] Kamu kurumuysanız temel haklar etki değerlendirmesi gerekiyor mu? (m. 27)
  • [ ] İtiraz eden adaya kararın ana unsurlarını açıklayabiliyor musunuz? (m. 86)

KVKK açısından yapılacakları ayrıca KVKK ve online sınav gözetimi yazımızda topladık.

Sık sorulan sorular

AB Yapay Zekâ Yasası online sınav gözetimini yasaklıyor mu?
Hayır. Yasa, sınav sırasında yasaklı davranışı izleyen sistemleri yüksek riskli sayar (Ek III, 3-d) ve bu sistemler için kurallar koyar. Yasakladığı şey, eğitim kurumlarında duygu çıkaran yapay zekâ sistemleridir (m. 5/1-f).
Bakış takibi duygu tanıma sayılır mı?
Yasa duygu tanıma sistemini, biyometrik veriye dayanarak duygu ya da niyet çıkaran sistem olarak tanımlar (m. 3/39). QProctor'un bakış analizi, adayın ekrandan uzun süre ayrılıp ayrılmadığını işaretler; duygu ya da niyet çıkarmaz. Kendi sisteminizin değerlendirmesini hukuk danışmanınızla yapın.
Türkiye'deki bir kurum Yasa'nın kapsamına girer mi?
Yapay zekâ çıktısı AB'de kullanılıyorsa üçüncü ülkedeki sağlayıcı ve kullanıcılar da kapsama girebilir (m. 2/1-c).
İnsan gözetimi her adayı canlı izlemek mi demek?
Hayır. 14. madde, görevlinin sistemin çıktısını anlayabilmesini, yorumlayabilmesini ve gerektiğinde geçersiz kılabilmesini ister. Sınav sonrası inceleme de bu gözetimin bir parçası olabilir.
Yapay zekâ işaretleri nota yansır mı?
QProctor'da yansımaz. LMS'e giden bütünlük puanı notun yanına bilgi olarak düşer, notu değiştirmez. Kararı görevli verir.
Yasa'nın uygulama tarihleri kesin mi?
Yasa'nın ilk metnine göre yasaklar 2 Şubat 2025'ten itibaren uygulanır. Diğer hükümlerin tarihleri için EUR-Lex'teki güncel konsolide metni kontrol edin.

İnsan kararını merkeze alan gözetimi deneyin. İnceleme modunu, kayıt oynatıcıyı ve duyarlılık ayarlarını kendi sınavınızda görün. 14 gün ücretsiz deneyin: 20 aday. Gizlilik ayrıntıları için gizlilik ve güvenlik sayfasına bakabilirsiniz.