Siber Muhbir

Microsoft'ta AI kırmızı ekip lideri Ram Shankar Siva Kumar, kırmızı ekip oluşturma aracının "dünyadaki her kuruluşun en son yapay zeka gelişmeleriyle sorumlu bir şekilde yenilik yapmasını sağlamak" için tasarlandığını söyledi.

Şirket, PyRIT'in büyük dil modeli (LLM) uç noktalarının fabrikasyon (örneğin halüsinasyon), kötüye kullanım (örneğin önyargı) ve yasaklanmış içerik (örneğin taciz) gibi farklı zarar kategorilerine karşı sağlamlığını değerlendirmek için kullanılabileceğini söyledi.

Kötü amaçlı yazılım oluşturmadan jailbreak yapmaya kadar değişen güvenlik zararlarının yanı sıra kimlik hırsızlığı gibi gizlilik zararlarını belirlemek için de kullanılabilir.

PyRIT beş arayüzle birlikte gelir: hedef, veri kümeleri, puanlama motoru, birden çok saldırı stratejisini destekleme yeteneği ve ara giriş ve çıkış etkileşimlerini depolamak için JSON veya veritabanı biçimini alabilen bir bellek bileşeni içerir.

Puanlama motoru ayrıca, hedef AI sisteminden elde edilen çıktıları puanlamak için iki farklı seçenek sunarak, kırmızı takım üyelerinin klasik bir makine öğrenimi sınıflandırıcısı kullanmasına veya kendi kendini değerlendirme için bir LLM uç noktasından yararlanmasına olanak tanır.

Microsoft, "Amaç, araştırmacıların modellerinin ve tüm çıkarım boru hattının farklı zarar kategorilerine karşı ne kadar iyi performans gösterdiğine dair bir temele sahip olmalarını ve bu temeli modellerinin gelecekteki yinelemeleriyle karşılaştırabilmelerini sağlamaktır" dedi.

"Bu, modellerinin bugün ne kadar iyi performans gösterdiğine dair ampirik verilere sahip olmalarını ve gelecekteki iyileştirmelere dayalı olarak herhangi bir performans düşüşünü tespit etmelerini sağlıyor."

Bununla birlikte, teknoloji devi, PyRIT'in üretken yapay zeka sistemlerinin manuel kırmızı ekip çalışmasının yerini almadığını ve kırmızı bir ekibin mevcut alan uzmanlığını tamamladığını vurgulamaya özen gösteriyor.

Başka bir deyişle, araç, AI sistemini değerlendirmek ve daha fazla araştırma gerektiren alanları işaretlemek için kullanılabilecek istemler oluşturarak risk "sıcak noktalarını" vurgulamayı amaçlamaktadır.

Microsoft ayrıca, üretken yapay zeka sistemlerini kırmızı ekip haline getirmenin aynı anda hem güvenlik hem de sorumlu yapay zeka risklerini araştırmayı gerektirdiğini ve alıştırmanın daha olasılıklı olduğunu kabul ederken, üretken yapay zeka sistem mimarilerindeki büyük farklılıklara da dikkat çekti.

Siva Kumar, "Manuel sondalama, zaman alıcı olsa da, potansiyel kör noktaları belirlemek için genellikle gereklidir" dedi. "Ölçeklendirme için otomasyona ihtiyaç duyuluyor ancak manuel prob ile ölçüm için bir zorunluluk söz konusu değil."

Geliştirme, Protect AI'nin ClearML, Hugging Face, MLflow ve Triton Inference Server gibi popüler AI tedarik zinciri platformlarında rastgele kod yürütülmesine ve hassas bilgilerin ifşa edilmesine neden olabilecek çok sayıda kritik güvenlik açığını ifşa etmesiyle geldi.

Diğer haberlerimiz hakkında daha fazla bilgi için Twitter sayfamızı, Instagram sayfamızı ve LinkedIn sayfamızı takip etmeyi unutmayın.