Microsoft พบช่องโหว่ prompt injection นำสู่การรันโค้ดในเฟรมเวิร์กเอเจนต์

01ตัวเลขสำคัญ Key facts

02ดูเป็นภาพ The picture

03อ่านข่าวนี้ให้เข้าใจ What it means

ข้อสรุปของ Microsoft: ตัวโมเดล “ทำงานตามที่ออกแบบ” จุดอ่อนอยู่ที่เฟรมเวิร์กและเครื่องมือเชื่อใจผลลัพธ์ของโมเดลมากเกินไป

หลักคิดที่บล็อกสรุปไว้คือ “LLM ของคุณไม่ใช่ขอบเขตความปลอดภัย” (your LLM is not a security boundary) ทุกค่าที่โมเดลอาจถูกชักจูงให้สร้างขึ้น ต้องถือเป็นข้อมูลนำเข้าที่ผู้โจมตีอาจควบคุมได้

Microsoft ระบุว่าจะเขียนถึงปัญหาทำนองเดียวกันในเฟรมเวิร์กเอเจนต์ของบริษัทอื่นในโพสต์ถัดไป

04ป้องกันตัวอย่างไร How to defend

• อัปเดต semantic-kernel เป็นเวอร์ชันที่แก้แล้ว (Python 1.39.4 ขึ้นไป, .NET 1.71.0 ขึ้นไป)
• ตรวจและจำกัดพารามิเตอร์ที่โมเดลส่งให้เครื่องมือเสมอ เหมือนข้อมูลจากผู้ใช้ที่ไม่น่าไว้ใจ
• ให้เครื่องมือของเอเจนต์ทำงานด้วยสิทธิ์น้อยที่สุดและในแซนด์บ็อกซ์
• เฝ้าดูพฤติกรรมผิดปกติบนเครื่องที่รันเอเจนต์ เช่น โปรเซสลูกที่ไม่คาดคิด และย้อนตรวจช่วงที่ยังใช้เวอร์ชันเก่า

ความแน่นอนของข่าว: เราไม่ลงรายละเอียดเชิงเทคนิคของการโจมตี สรุปเฉพาะหลักคิดและวิธีป้องกันจากบล็อกของ Microsoft