مسئله دسترسی به اطلاعات
وقتی پاسخ به اسناد خودتان وابسته است، باید بخش مرتبط را پیدا و در اختیار مدل بگذارید. RAG این بازیابی را به تولید پاسخ متصل می‌کند. بازیابی تضمین نمی‌کند که پاسخ درست، کامل یا به‌روز باشد. مثلاً دستیار آموزشی باید از مقررات فعلی دوره پاسخ دهد. سند قدیمی حتی با بازیابی دقیق، مبنای مناسبی نمی‌شود. مالک، تاریخ اعتبار و سطح دسترسی سند را مشخص کنید.
آزمایش ده‌پرسشی
ده پرسش واقعی و پاسخ مستند آن‌ها را آماده کنید. چند مورد عمداً بدون پاسخ باشند. ابتدا خودتان بخش لازم را پیدا کنید. اگر انسان هم پاسخ روشن پیدا نمی‌کند، مشکل نخست محتواست. برای هر پرسش جداگانه ثبت کنید: سند درست پیدا شد؟ بخش کافی در اختیار پاسخ‌گو بود؟ پاسخ به همان شاهد وفادار ماند؟ تغییر پرامپت لزوماً مشکل پیدا نشدن سند را رفع نمی‌کند.
مجوز و نبود پاسخ
سند خصوصی نباید صرفاً به‌دلیل ارتباط موضوعی به هر کاربر نمایش داده شود. مجوز باید پیش از ارائه نتیجه بررسی شود. نبود شاهد کافی باید به اعلام محدودیت و مسیر پیگیری منجر شود.
تصمیم بعد از آزمایش
برای مجموعه کوچک، جست‌وجوی ساده یا انتخاب دستی بخش‌ها خط پایه مناسبی است. با افزایش داده و تنوع سؤال، روش‌های بازیابی را روی همان آزمون مقایسه کنید. ابزار پیچیده بدون اندازه‌گیری، محل خطا را روشن نمی‌کند. راهنمای Retrieval ارائه‌دهنده جزئیات محصول را توضیح می‌دهد؛ هزینه و محدودیت نسخه فعلی را هنگام انتخاب جدا بررسی کنید. این تمرین را می‌توان ابتدا دستی و بدون API پولی انجام داد.