الگوها › مستندات Jev
مسیریابی نیت Intent routing
درخواستها را طبقهبندی و هر کدام را به بهترین پردازشگر بفرستید: منطق قطعی، یک LLM تخصصی یا انسان.
همهی درخواستها به یک نوع پردازشگر نیاز ندارند. بعضی با یک جستوجوی پایگاه داده پاسخ داده میشوند، بعضی به LLM با کانتکست تخصصی و بعضی به انسان. TypeSafe میتواند جلوی همهی اینها بهعنوان یک طبقهبند سریع و ارزان بنشیند.
پیام مشتری
۲ پرسش
Choice: intentScore: complexity
اطمینان ≥ ۰٫۵؟
order_status ← جستوجوی سفارش (کد قطعی)product_question ← LLM متخصص محصولreturn_exchange ← LLM متخصص مرجوعیcomplaint ← LLM حل شکایت یا انساناطمینان پایین ← کارشناس انسانی
یک نیت بدون هیچ LLMی به کد قطعی میرود؛ دو نیت به LLMهای تخصصی متفاوت؛ و یکی با امتیاز پیچیدگی بین LLM و انسان تصمیم میگیرد. TypeSafe طبقهبندی را در یک فراخوانی سریع انجام میدهد و منابع گران فقط برای درخواستهایی به کار میروند که واقعاً لازمشان دارند.