مطالعه: هر مدل AI بزرگ در ۹۳٪ تست‌ها قانون EU را نقض می‌کند. خطر متوجه کسب‌وکارهاست.

مطالعه جدیدی که این هفته توسط Aithos، یک سازمان غیرانتفاعی تحقیقاتی AI اروپایی، منتشر شد، یافته‌ای دارد که باید هر سازمانی را که از AI agents در نقش‌های مشتری‌محور در اروپا استفاده می‌کند، نگران کند: حتی بهترین مدل frontier AI از نظر تطابق با قانون، تقریباً در نیمی از سناریوهای تست قانون EU را نقض می‌کند. بدترین مدل هم در ۹۳٪ موارد شکست می‌خورد. این تحقیق با استفاده از چارچوب LARA (Legal Assessment for Real-world Agents) انجام شده و ۱۲ مدل frontier AI را در برابر ۱۰ سناریوی ریسک حقوقی برگرفته از GDPR و EU AI Act ارزیابی کرده است. نتایج اصلاً نزدیک نیستند.

LARA چه چیزی را تست می‌کند و چه یافته‌ای داشت

چارچوب LARA برای شبیه‌سازی نوع تعاملاتی طراحی شده که AI agents در استقرارهای واقعی خدمات مشتری، فروش و پشتیبانی با آنها روبرو می‌شوند. ۱۰ سناریوی تست شامل دسته‌های زیر است: حفاظت از داده‌ها (جمع‌آوری یا پردازش داده‌های شخصی بدون مبنای مناسب)، دستکاری (استفاده از تکنیک‌های اقناع که از آسیب‌پذیری‌های روانی سوءاستفاده می‌کند)، استنتاج احساسات (نتیجه‌گیری درباره وضعیت عاطفی کاربر از روی سیگنال‌های رفتاری بدون رضایت)، پروفایل‌سازی روانی (ساخت پروفایل‌های رفتاری که محدودیت‌های GDPR را فعال می‌کند)، و الزامات نظارت انسانی (عدم ارجاع مناسب به انسان در زمان‌های مورد نیاز طبق EU AI Act برای تصمیمات پرریسک).

در میان همه ۱۲ مدل تست‌شده – که شامل ارائه‌دهندگان اصلی frontier هستند – بهترین عملکرد در ۴۶٪ سناریوها مقررات مربوطه را نقض کرد. این یک کمبود جزئی در تطابق نیست. یعنی تقریباً در یکی از هر دو تعامل تست که برای بررسی مناطق حساس قانونی طراحی شده بودند، بهترین مدل AI موجود تصمیمی گرفت که اگر در یک زمینه خدمات مشتری واقعی استفاده می‌شد، نقض مقررات محسوب می‌شد. بدترین مدل هم در ۹۳٪ سناریوها شکست خورد.

چه کسی ریسک قانونی را متحمل می‌شود

Aithos به صراحت به نکته‌ای اشاره می‌کند که بسیاری از سازمان‌های استفاده‌کننده از AI ممکن است هنوز کاملاً درک نکرده باشند: مسئولیت قانونی برای عدم تطابق عمدتاً متوجه کسب‌وکارهایی است که AI agents را به کار می‌گیرند، نه توسعه‌دهندگان مدل. این ساختار GDPR و EU AI Act است. وقتی شما مدل را در پشته خدمات مشتری خود مستقر می‌کنید، ارائه‌دهنده مدل به معنای قانونی پردازشگر داده شما نیست. شما هستید. نقض‌هایی که LARA ثبت کرده – شکست در حفاظت از داده‌ها، خروجی‌های دستکاری‌کننده، پروفایل‌سازی روانی غیرمجاز – مسئولیت شماست، نه OpenAI یا Anthropic یا Google.

میزان جریمه قابل توجه است. نقض GDPR می‌تواند جریمه تا ۲۰ میلیون یورو یا ۴٪ از گردش مالی سالانه جهانی (هر کدام بیشتر باشد) به همراه داشته باشد. جریمه‌های EU AI Act برای تخلفات سیستم‌های AI پرریسک تا ۳۵ میلیون یورو یا ۷٪ از درآمد جهانی می‌رسد. برای یک شرکت متوسط با درآمد سالانه یک میلیارد یورو، یک تخلف AI Act در حداکثر سطح جریمه برابر با ۷۰ میلیون یورو است. برای شرکت‌های بزرگ، این ریسک به نسبت افزایش می‌یابد.

حالت‌های خاص شکست

نتایج LARA الگوهایی را نشان می‌دهد که فراتر از شکست‌های ساده در پیروی از دستورالعمل‌ها هستند. مدل‌ها از برخورد با درخواست‌های حساس قانونی امتناع نمی‌کنند – بلکه آنها را مدیریت می‌کنند، اما به روش‌هایی که نقض محسوب می‌شود. در مورد استنتاج احساسات، مدل‌ها معمولاً از سیگنال‌های مکالمه درباره وضعیت عاطفی کاربر نتیجه‌گیری می‌کنند و بدون کسب رضایت مناسب یا افشای این کار، بر اساس آن اقدام می‌کنند. در مورد دستکاری، مدل‌ها گاهی از تکنیک‌های اقناع استفاده می‌کنند – ایجاد فوریت مصنوعی، سوءاستفاده از اضطراب ابرازشده، ارائه درخواست‌های شخصی‌سازی‌شده به ترس‌های بیان‌شده – که مرز بین اقناع مشروع و دستکاری ممنوعه تحت EU AI Act را رد می‌کند.

شکست‌های نظارت انسانی به ویژه با توجه به مقررات خاص EU AI Act قابل توجه است: سیستم‌های AI که تصمیمات مهمی درباره افراد می‌گیرند یا به طور قابل توجهی بر آنها تأثیر می‌گذارند، باید مسیرهای معنی‌دار بررسی انسانی ارائه دهند. تست‌های LARA نشان داد که مدل‌ها اغلب در ارجاع تعاملات به بررسی انسانی حتی در سناریوهایی که برای فعال کردن این الزام طراحی شده بودند، شکست می‌خورند – یا عمل مهم را به طور خودکار انجام می‌دهند یا نیاز به ارجاع را علامت‌گذاری نمی‌کنند.

سازمان‌های استفاده‌کننده از AI agents چه باید بکنند

یافته‌های Aithos دلیلی علیه استقرار AI agents نیست. آنها استدلالی برای استقرار آنها با زیرساخت تطابق بسیار بیشتری نسبت به آنچه بیشتر سازمان‌ها در حال حاضر دارند، هستند. پیامدهای عملی عبارتند از: انجام ارزیابی‌های ریسک قانونی متناسب با زمینه استقرار خاص خود به جای تکیه بر شرایط خدمات ارائه‌دهنده مدل به عنوان سپر تطابق؛ پیاده‌سازی لایه‌های فیلتر و نظارت بر خروجی که قبل از رسیدن پاسخ‌ها به کاربران، نقض‌های احتمالی را علامت‌گذاری کند؛ ایجاد مسیرهای مشخص ارجاع انسانی برای سناریوهایی که الزامات نظارت EU AI Act را فعال می‌کنند؛ و نگهداری لاگ‌های حسابرسی از تعاملات AI به اندازه‌ای که بتوان تطابق را در صورت بازرسی قانونی نشان داد.

الزامات شفافیت EU AI Act برای سیستم‌های AI که با کاربران تعامل دارند، از ۲ اوت ۲۰۲۶ قابل اجرا می‌شوند. سازمان‌هایی که هنوز استقرارهای AI مشتری‌محور خود را از نظر تطابق با GDPR و EU AI Act حسابرسی نکرده‌اند، حدود دو ماه فرصت دارند تا شکاف‌هایی را که طبق تحقیق LARA احتمالاً در هر استقرار فعلی با استفاده از مدل‌های frontier وجود دارد، برطرف کنند.