اطمینان (Confidence)
TypeSafe چگونه میزان قطعیت را گزارش میکند، چه فرقی با احتمال دارد و چگونه با آن رفتار سیستم را کنترل کنیم.
همهی پاسخهای Score و Choice یک ویژگی probabilities دارند که توزیع احتمال روی گزینهها (Choice) یا سطوح (Score) است. شکل این توزیع میزان قطعیت مدل را نشان میدهد: متمرکز روی یک نتیجه یعنی پاسخ مطمئن، پخششده یعنی نامطمئن. ویژگی confidence این شکل را در یک عدد بین ۰ و ۱ خلاصه میکند تا بدون محاسبه روی آن آستانه بگذارید. (پاسخهای Noul آن را ندارند.)
یک پیشفرض محکم: confidence معیاری راحت برای بیشتر کاربردهاست، اما شما به تعریف ما محدود نیستید. بسته به چیزی که ارزیابی میکنید ممکن است معیار دیگری بهتر باشد؛ دقیقاً به همین دلیل probabilities کامل در پاسخ آمده است.
اطمینان پایین در Choice اغلب یعنی هیچ گزینهای برندهی روشن نیست؛ در Score اغلب یعنی سطوح مبهم یا چندبعدیاند یا state اطلاعات کافی ندارد.
«نمیدانم» سیگنال مفیدی است
اگر یک سامانهی هوشمند، چه انسان و چه ماشین، نتواند عدم قطعیت را صادقانه بیان کند، نمیتوان به آن اعتماد کرد. اطمینان سازوکاری داخلی است که مدل با آن بگوید «دربارهی این یکی مطمئن نیستم» و این پایهی ساختن سیستمهایی است که واقعاً میتوان به آنها تکیه کرد.
سه مسیر برای استفاده از اطمینان در کد
اطمینان بالا
خودکار عمل کنید. مدل برداشت روشنی دارد و بدون دخالت انسان پیش بروید.
اطمینان متوسط
با احتیاط پیش بروید: از کاربر تأیید بگیرید، برای بازبینی علامت بزنید یا اطلاعات بیشتری جمع کنید.
اطمینان پایین
اقدام نکنید. به انسان ارجاع دهید، توضیح بخواهید یا به سیستم دیگری برگردید.
آستانهها با ریسک مقیاس میشوند
آستانهی اطمینان یک عدد واحد نیست. اقدامهای مختلف در یک سیستم باید بسته به پیامد اشتباه، در سطوح متفاوتی دروازهگذاری شوند.
مقادیر درست آستانه به دامنهی کاری و عملکرد مدل برای کاربرد شما بستگی دارد. با آستانههای محافظهکارانه شروع کنید، با دادهی خودتان آزمایش کنید و با مشاهدهی نتایج تنظیمشان کنید.