Siber Muhbir

Bunlar, bir turşu dosyası yüklemenin kod yürütülmesine yol açtığı durumları içerir, yazılım tedarik zinciri güvenlik firması JFrog.

Kıdemli güvenlik araştırmacısı David Cohen, "Modelin yükü, saldırgana güvenliği ihlal edilmiş makinede bir kabuk vererek, genellikle 'arka kapı' olarak adlandırılan şey aracılığıyla kurbanların makineleri üzerinde tam kontrol sahibi olmalarını sağlıyor" dedi.

"Bu sessiz sızma, potansiyel olarak kritik dahili sistemlere erişim sağlayabilir ve büyük ölçekli veri ihlallerinin ve hatta kurumsal casusluğun önünü açabilir, yalnızca bireysel kullanıcıları değil, potansiyel olarak dünya çapındaki tüm kuruluşları etkileyebilir ve tüm bunları yaparken kurbanları tehlikeye atılmış durumlarından tamamen habersiz bırakabilir."

Özellikle, hileli model 210.117.212'ye bir ters kabuk bağlantısı başlatır[.] 93, Kore Araştırma Ortamı Açık Ağı'na (KREONET) ait bir IP adresidir. Aynı yükü taşıyan diğer depoların diğer IP adreslerine bağlandığı gözlemlenmiştir.

Bir durumda, modelin yazarları, kullanıcıları indirmemeye çağırdı ve yayının araştırmacıların veya yapay zeka uygulayıcılarının işi olabileceği olasılığını artırdı.

JFrog, "Bununla birlikte, güvenlik araştırmalarında temel bir ilke, gerçek çalışan açıkları veya kötü amaçlı kodları yayınlamaktan kaçınmaktır" dedi. "Kötü amaçlı kod gerçek bir IP adresine geri bağlanmaya çalıştığında bu ilke ihlal edildi."

Bulgular, açık kaynak depolarında gizlenen ve hain faaliyetler için zehirlenebilecek tehdidin altını bir kez daha çiziyor.

Tedarik Zinciri Risklerinden Sıfır Tıklama Solucanlarına

Ayrıca, araştırmacılar, ışın arama tabanlı çekişmeli saldırı (BEAST) adı verilen bir teknik kullanarak büyük dil modellerinden (LLM'ler) zararlı yanıtlar ortaya çıkarmak için kullanılabilecek istemler oluşturmak için etkili yollar geliştirdiler.

İlgili bir gelişmede, güvenlik araştırmacıları, verileri çalabilen ve kötü amaçlı yazılımları birden fazla sisteme yayabilen Morris II adlı üretken bir AI solucanı olarak bilinen şeyi geliştirdiler.

Güvenlik araştırmacıları Stav Cohen, Ron Bitton ve Ben Nassi, en eski bilgisayar solucanlarından birinin bir bükülmesi olan Morris II'nin, GenAI modelleri tarafından işlendiğinde "girdiyi çıktı olarak çoğaltmak (çoğaltma) ve kötü niyetli faaliyetlerde bulunmak (yük)" için tetikleyebilecek görüntüler ve metinler gibi girdilere kodlanmış düşmanca kendi kendini kopyalayan istemlerden yararlandığını söyledi.

Daha da rahatsız edici bir şekilde, modeller, üretken yapay zeka ekosistemindeki bağlantıdan yararlanarak yeni uygulamalara kötü amaçlı girdiler sağlamak için silah haline getirilebilir.

ComPromptMize olarak adlandırılan saldırı tekniği, kodu bir sorgunun içine ve verileri yürütülebilir kodu tuttuğu bilinen bölgelere gömmesi nedeniyle arabellek taşmaları ve SQL enjeksiyonları gibi geleneksel yaklaşımlarla benzerlikler paylaşıyor.

ComPromptMized, yürütme akışı üretken bir yapay zeka hizmetinin çıktısına bağlı olan uygulamaların yanı sıra, sorgu yanıtlarını zenginleştirmek için metin oluşturma modellerini bir bilgi alma bileşeniyle birleştiren alma artırılmış oluşturma (RAG) kullanan uygulamaları etkiler.

Çalışma, LLM'lere saldırmanın ve onları istenmeyen eylemler gerçekleştirmeleri için kandırmanın bir yolu olarak hızlı enjeksiyon fikrini araştıran ilk ve son da olmayacak.

Daha önce akademisyenler, modelin saldırgan tarafından seçilen metin veya talimatların çıktısını vermesine neden olan çok modlu LLM'lere görünmez "düşmanca bozulmalar" enjekte etmek için görüntüleri ve ses kayıtlarını kullanan saldırılar göstermişlerdi.

Nassi, Eugene Bagdasaryan, Tsung-Yin Hsieh ve Vitaly Shmatikov ile birlikte geçen yılın sonlarında yayınlanan bir makalede, "Saldırgan, kurbanı ilginç bir görüntü içeren bir web sayfasına çekebilir veya ses klibi içeren bir e-posta gönderebilir" dedi.

"Kurban görüntüyü veya klibi doğrudan izole bir LLM'ye girdiğinde ve bununla ilgili sorular sorduğunda, model saldırgan tarafından enjekte edilen istemler tarafından yönlendirilecektir."

Geçen yılın başlarında, Almanya'nın Saarland Üniversitesi'ndeki CISPA Helmholtz Bilgi Güvenliği Merkezi'ndeki bir grup araştırmacı, bir saldırganın, modelin kullanıcı girdisine yanıt verirken muhtemelen alacağı verilere (yani dolaylı istem enjeksiyonu) stratejik olarak gizli istemler enjekte ederek LLM modellerinden nasıl yararlanabileceğini ortaya çıkardı.

Diğer haberlerimiz hakkında daha fazla bilgi için Twitter sayfamızı, Instagram sayfamızı ve LinkedIn sayfamızı takip etmeyi unutmayın.