Score score
رتبهدهی محتوا روی سطوح مرتب و توصیفی؛ همراه با score، احتمال هر سطح و اطمینان.
وقتی پاسخ موقعیتی روی طیفی است که میتوانید آن را پلهپله توصیف کنید از Score استفاده کنید: شدت یک باگ، میزان رضایت مشتری یا میزان تجربهی پایتون یک نامزد. پاسخ یک موقعیت روی سطوح شما در score است که میتواند بین دو سطح بیفتد.
ساختار درخواست
همیشه "score".
پرسشی که مدل پاسخ میدهد؛ چیزی که رتبهدهی میشود.
آرایهای مرتب از توصیف سطوح، از پایین طیف تا بالا. دستکم دو سطح؛ API حداکثر ۱۰ سطح میپذیرد.
سطوح
هر عضو criteria یک سطح است: یک نقطه روی طیف پاسخهای ممکن که با کلمات توصیف شده. شمارهی هر سطح جایگاه آن در آرایه است و از ۰ شروع میشود. مدل فقط توصیفها را دریافت میکند و هر سطح جداگانه در برابر state قضاوت میشود. برای مقیاس سهسطحی، score از ۰ تا ۲ است.
ساختار پاسخ
type: نوع پرسش.probabilities: احتمال هر سطح، با کلید شمارهی سطح بهصورت رشته؛ مجموع ۱.score: موقعیت روی خط شمارهی سطوح؛ مجموع حاصلضرب هر شماره در احتمالش:0×0.0 + 1×0.57 + 2×0.43 = 1.43.legend: نگاشت هر شمارهی سطح به توصیفش.confidence: عددی بین ۰ و ۱ از پراکندگیprobabilities.
score برابر ۱٫۴۳ یعنی مدل بین سطح ۱ و ۲ مردد است و به سطح ۱ متمایل. این با گزارش جور است: خروجی گرفتن خراب است و Chrome برای بیشتر مشتریان راهحل جایگزین است، اما نه برای کسانی که فقط Safari دارند. در SDK پایتون، ScoreAnswer فیلدهای تایپشده دارد و probabilities و legend را با کلید عدد صحیح برمیگرداند.
خواندن یک Score
| State | score | confidence | سطح ۰ | سطح ۱ | سطح ۲ |
|---|---|---|---|---|---|
| The export button is misaligned by a few pixels on the settings page. | 0.0 | 1.0 | 1.0 | 0.0 | 0.0 |
| The PDF export button does nothing when clicked. I can still export to CSV and convert it myself, but that takes ages. | 1.0 | 1.0 | 0.0 | 1.0 | 0.0 |
| Export to PDF fails with a spinner that never finishes. Some of our team say CSV export still works for them, others say it fails too. | 1.11 | 0.84 | 0.0 | 0.89 | 0.11 |
| The export button crashes the settings page in Safari. It works in Chrome, but a few of our customers only use Safari. | 1.43 | 0.35 | 0.0 | 0.57 | 0.43 |
| Nobody on our team can log in since this morning. We get a 500 error on every attempt. | 2.0 | 1.0 | 0.0 | 0.0 | 1.0 |
score میانگین وزندار شمارهی سطوح با احتمالهاست. توزیعهای مختلف میتوانند score یکسانی بسازند: ۱٫۰ میتواند یعنی همه روی سطح ۱ یا نصف روی ۰ و نصف روی ۲. همیشه probabilities و confidence را کنار score بخوانید. score کسری یک موقعیت است: برای رتبهبندی از آن استفاده کنید یا وقتی کد به یک نتیجهی واحد نیاز دارد آن را به نزدیکترین سطح گرد کنید.
اطمینان پایین در Score معمولاً یکی از این سه معنی را دارد: سطوح برای این state همپوشانی دارند، پرسش بیش از یک چیز را میسنجد، یا state اطلاعات کافی برای قرار دادن آن ندارد.
نوشتن سطوح خوب
- موقعیتها را توصیف کنید، نه درجهها را. «ویژگی خراب یا تضعیفشده، اما راهحل جایگزین وجود دارد» چیزی برای تطبیق به مدل میدهد؛ «نسبتاً شدید» نمیدهد.
- هر سطح جداگانه ارزیابی میشود. مدل شمارهی سطح یا همسایههایش را نمیبیند؛ «بدتر از سطح قبلی» برایش معنایی ندارد و عدد در توصیف یا دستورالعمل کمکی نمیکند.
- به تعدادی سطح بگذارید که بتوانید متمایز توصیفشان کنید؛ حداکثر ۱۰. سه سطح کاملاً کافی است.
- هر Score فقط یک بُعد. اگر توصیفی بگوید «وقتشناس و باهوش و باتجربه»، پرسش سه چیز را میسنجد؛ آن را به سه Score بشکنید.
- اگر بالای مقیاس یک حالت حدی نادر دارد که باید متفاوت با آن برخورد کنید، سطح جداگانهای برایش بگذارید (مثلاً «توهینآمیز یا تهدیدآمیز» بعد از «بسیار عصبانی»).
همان گزارش ناهمترازی دکمه با سه سطح توصیفی score برابر ۰٫۰ با اطمینان ۱٫۰ میگیرد. با سطوح فقط عددی، مدل چیزی برای تطبیق ندارد.
شکستن یک قضاوت پیچیده به چند Score
مقیاسها طولهای متفاوتی دارند؛ پیش از ترکیب، هر score را بر بالاترین شمارهی سطح خودش (len(criteria) - 1) تقسیم کنید تا همه روی بازهی ۰ تا ۱ قرار گیرند. سپس وزنها همان معنایی را دارند که انتظار دارید.