RAG (تولید تقویتشده با بازیابی) چیست
توجه: این سند ترجمه خودکار نسخه اصلی انگلیسی است.
RAG (تولید تقویتشده با بازیابی) چیست
دانشآموزی را تصور کنید که امتحان جزوهباز میدهد. بهجای پاسخ دادن به هر سؤال صرفاً از حافظه، دانشآموز کتاب درسی را ورق میزند، مرتبطترین صفحات را پیدا میکند، آنها را میخواند و سپس پاسخی مینویسد که دانش بهخاطرسپرده را با واقعیتهای تازهجسته ترکیب میکند. تولید تقویتشده با بازیابی (Retrieval-Augmented Generation یا RAG) برای مدل زبانی بزرگ همینطور کار میکند. مدل صرفاً به آنچه در آموزش حفظ کرده تکیه نمیکند — ابتدا یک پایگاه دانش بیرونی را جستوجو میکند، مرتبطترین اسناد را بازیابی میکند و هنگام تولید پاسخ از آنها بهعنوان زمینهٔ اضافی استفاده میکند.
این تکنیک از آن رو اهمیت دارد که حتی قدرتمندترین LLMها تاریخ قطع دانش دارند، میتوانند «توهم» بزنند (گزارههای باورپذیر اما نادرست تولید کنند) و ممکن است دانش تخصصی یک دامنه را نداشته باشند. RAG هر سه ضعف را یکجا برطرف میکند؛ با دادن دسترسی به منابع بهروز، دامنهمحور و قابلتأیید به مدل، هر بار که به سؤالی پاسخ میدهد.
خلاصه: RAG یک الگوی معماری است که یک سیستم بازیابی را با یک LLM ترکیب میکند. نوع جداگانهای از مدل نیست — روشی است برای کار با دانش و زمینهٔ بیرونی.
چگونه کار میکند
خط لولهٔ RAG از یک توالی روشن پنجمرحلهای پیروی میکند. درک هر مرحله کمک میکند ارزیابی کنید پروژهای که ادعای RAG دارد واقعاً لایهٔ بازیابی کارآمدی دارد یا صرفاً یک فراخوانی استاندارد LLM را بستهبندی کرده است.
مرحلهٔ ۱ — پرسمان کاربر
فرایند وقتی آغاز میشود که کاربر یک سؤال، فرمان یا پرامپت ارسال میکند. این پرسمان نقطهٔ شروع همهچیز است. برای مثال، کاربر ممکن است بپرسد: «پیشنهادهای مهم حاکمیتی در Ethereum در ماه گذشته چه بودند؟» سیستم تلاش نمیکند فقط از حافظهٔ LLM پاسخ دهد — بلکه پرسمان را دستور جستوجو تلقی میکند.
مرحلهٔ ۲ — امبدینگ پرسمان
متن خام پرسمان به بازنمایی عددیای به نام امبدینگ (embedding) تبدیل میشود — برداری از اعداد که معنای معنایی پرسمان را ثبت میکند. این مرحله از یک مدل امبدینگ تخصصی استفاده میکند (مانند text-embedding-ada-002 شرکت OpenAI یا گزینههای متنباز مثل E5 یا BGE). بردار حاصل به سیستم امکان جستوجوی معنایی میدهد — یافتن اسناد بر اساس معنا و نه تطبیق دقیق کلیدواژه.
مرحلهٔ ۳ — بازیابی از پایگاه دانش
امبدینگ پرسمان با یک پایگاه دادهٔ برداری (که vector store هم نامیده میشود) مقایسه میشود که امبدینگهای از پیش محاسبهشدهٔ اسناد، قطعهها یا تکههای داده را نگه میدارد. پایگاه داده top-k مورد از نظر معنایی مشابهترینها را برمیگرداند. پایگاههای دادهٔ برداری رایج شامل Pinecone، Weaviate، Qdrant، Milvus و Chroma هستند.
کیفیت بازیابی به چند عامل بستگی دارد:
- راهبرد تکهبندی (chunking) — اسناد اصلی چگونه به قطعات کوچکتر شکسته شدهاند. تکههای خیلی بزرگ ربط را رقیق میکنند؛ تکههای خیلی کوچک زمینه را از دست میدهند. یافتن اندازهٔ درست تکه یکی از اثرگذارترین تصمیمهای مهندسی در خط لولهٔ RAG است.
- مدل امبدینگ — معنا با چه دقتی در بردارها ثبت میشود. مدل امبدینگ ضعیف فارغ از پایگاه داده به بازیابی ضعیف میانجامد.
- رتبهبندی ربط — آیا جستوجو نتایج واقعاً مرتبط برمیگرداند یا فقط نتایج ظاهراً مشابه. برخی سیستمها یک مرحلهٔ بازرتبهبندی (re-ranking) اضافه میکنند که با یک cross-encoder نتایج اولیه را دوباره امتیاز میدهد.
مرحلهٔ ۴ — تزریق زمینه
اسناد بازیابیشده با پرسمان اصلی کاربر در یک پرامپت واحد (که گاهی «پرامپت تقویتشده» نامیده میشود) ترکیب و به LLM فرستاده میشوند. پرامپت معمولاً به مدل دستور میدهد با استفاده از زمینهٔ ارائهشده به سؤال پاسخ دهد و وقتی زمینه اطلاعات کافی ندارد، این را اعلام کند.
مرحلهٔ ۵ — تولید LLM و خروجی
مدل زبانی پرامپت تقویتشده را میخواند و پاسخی تولید میکند که هم در دانش ازپیشآموختهٔ آن و هم در شواهد بازیابیشده ریشه دارد. سیستم RAG خوشطراحی ممکن است لایهٔ استناد هم داشته باشد که بخشهایی از پاسخ را به اسناد منبع مشخص پیوند میزند و به کاربر راهی برای تأیید ادعاها میدهد.
| مرحله | ورودی | خروجی | جزء کلیدی |
|---|---|---|---|
| پرسمان | متن کاربر | پرسمان خام | رابط کاربری |
| امبدینگ | پرسمان خام | بردار پرسمان | مدل امبدینگ |
| بازیابی | بردار پرسمان | اسناد مرتبط | پایگاه دادهٔ برداری |
| تزریق زمینه | پرسمان + اسناد | پرامپت تقویتشده | قالب پرامپت |
| تولید | پرامپت تقویتشده | پاسخ نهایی | LLM |
چرا RAG اهمیت دارد
RAG سه محدودیت شناختهشدهٔ LLMهای مستقل را برطرف میکند:
- توهمها. LLMها میتوانند پاسخهای بااطمینان اما نادرست تولید کنند. RAG با ریشه دادن پاسخها در اسناد واقعی این را کاهش میدهد. وقتی مدل بتواند به قطعهای مشخص ارجاع دهد، خطر جعل بهطور چشمگیری افت میکند.
- دانش کهنه. مدل ازپیشآموزشدیده تاریخ قطع دانش دارد. RAG دسترسی به دادهٔ تازه و پیوسته بهروز را ممکن میکند — پایگاه دادهٔ بیرونی میتواند روزانه یا حتی در لحظه تازهسازی شود.
- تخصص دامنه. فاینتیون کردن LLM برای یک دامنهٔ محدود گران و زمانبر است. RAG به مدل همهمنظوره اجازه میدهد بدون بازآموزی با پایگاههای دانش تخصصی کار کند و استقرار اپلیکیشنهای دامنهمحور را سریعتر و ارزانتر میکند.
RAG در برابر فاینتیونینگ
هم RAG و هم فاینتیونینگ بهدنبال بهبود عملکرد LLM روی وظایف خاصاند، اما به شیوههایی بنیادین متفاوت کار میکنند.
| جنبه | RAG | فاینتیونینگ |
|---|---|---|
| دانش کِی افزوده میشود | در زمان استنتاج (هر پرسمان) | در زمان آموزش (یک بار، سپس ثابت) |
| هزینهٔ بهروزرسانی | پایین — پایگاه دانش بهروزرسانی میشود | بالا — بازآموزی یا فاینتیون مجدد مدل |
| تازگی دانش | میتواند تقریباً بلادرنگ باشد | در نقطهٔ قطع آموزش منجمد است |
| نیاز به زیرساخت آموزش | خیر | بله (GPUها، دیتاستها، خط لولهٔ آموزش) |
| بهترین کاربرد | بازیابی واقعیتها، پرسشوپاسخ روی مستندات | سبک، لحن، قالب، بهینهسازی وظیفهٔ محدود |
| ممیزیپذیری | بالا — منابع بازیابیشده قابل لاگاند | پایین — دانش در وزنها تعبیه شده است |
در عمل، بسیاری از سیستمهای تولیدی هر دو را ترکیب میکنند: مدل فاینتیونشده لحن و رفتار وظیفهٔ درست را فراهم میکند و RAG ریشهٔ واقعیتمحور بهروز را تأمین میکند.
الگوهای پیشرفتهٔ RAG
خط لولهٔ پایهٔ پنجمرحلهای بالا گاهی RAG ساده (naive RAG) نامیده میشود. با بلوغ این تکنیک، مهندسان گونههای پیچیدهتری توسعه دادهاند:
- RAG چندمرحلهای (تکرارشونده). بهجای یک بار بازیابی، سیستم بازیابی میکند، پاسخی میانی تولید میکند، شکافهای دانش را شناسایی میکند، با پرسمانی پالوده دوباره بازیابی میکند و تکرار میکند تا پاسخ بهقدر کافی کامل شود. این رویکرد سؤالات پیچیدهای را پوشش میدهد که با یک گذر بازیابی پاسخدادنی نیستند.
- RAG ایجنتی (Agentic RAG). مرحلهٔ بازیابی درون چارچوب یک ایجنت AI پیچیده میشود. ایجنت تصمیم میگیرد کِی بازیابی کند، کدام پایگاه دانش را پرسمان کند، آیا پرسمان را بازنویسی کند و کِی زمینهٔ کافی برای تولید پاسخ نهایی دارد. این الگو مرز میان RAG و ایجنتهای خودمختار را کمرنگ میکند.
- جستوجوی ترکیبی (Hybrid search). ترکیب جستوجوی معنایی برداری با جستوجوی سنتی کلیدواژهای (BM25) در همان مرحلهٔ بازیابی. جستوجوی ترکیبی هم تطبیقهای معنامحور و هم واژهمحور را میگیرد و بازیابی را برای پرسمانهایی که اصطلاحات فنی خاص یا اسامی خاص دارند بهبود میدهد.
- Graph RAG. بهجای تکههای سند مسطح، پایگاه دانش بهصورت گراف دانش ساختار میگیرد — موجودیتها و روابط. بازیابی بهجای (یا افزون بر) شباهت برداری، یالهای گراف را دنبال میکند و استدلال چندگامی روی دادهٔ ساختیافته را ممکن میکند. این الگوها برای ارزیابی مهماند: پروژهای که خط لولهٔ graph-RAG با بازیابی تکرارشونده را توصیف میکند، ادعایی مشخصتر (و سختتر برای جعل) میکند تا پروژهای که صرفاً میگوید «از RAG استفاده میکنیم».
نمونههای واقعی RAG
RAG مفهومی نظری نیست — برخی از پرکاربردترین محصولات AI امروز را نیرو میدهد.
- Bing Chat (Microsoft Copilot). وقتی از Bing Chat سؤالی میپرسید، وب را جستوجو میکند، صفحات مرتبط را بازیابی میکند و از آن صفحات بهعنوان زمینه برای پاسخ LLM استفاده میکند. استنادهای درونمتنیای که در پاسخ میبینید نتیجهٔ مستقیم مرحلهٔ بازیابیاند.
- Perplexity. محصول Perplexity حول معماری RAG ساخته شده: هر پرسمان کاربر یک جستوجوی وب راه میاندازد، نتایج به LLM داده میشوند و پاسخ شامل ارجاعهای شمارهدار به منابع است. کاربر میتواند برای تأیید هر ادعا روی منبع کلیک کند.
- دستیارهای دانش سازمانی. شرکتها از سیستمهای RAG داخلی استفاده میکنند تا کارکنان بتوانند سیاستهای منابع انسانی، مستندات مهندسی یا قراردادهای حقوقی را با زبان طبیعی پرسمان کنند. لایهٔ بازیابی مخزن اسناد داخلی شرکت را جستوجو میکند، نه وب باز را. این نمونهها نشان میدهند RAG فناوری جاافتادهای است. وقتی پروژهای کریپتو AI میگوید «از RAG استفاده میکنیم»، پرسش این نیست که آیا RAG فناوری واقعی است، بلکه این است که آیا پیادهسازی خاص پروژه درست است: چه دادهای بازیابی میشود، چگونه ایندکس میشود و آیا کیفیت بازیابی اندازهگیری شده است.
چرا RAG در پروژههای کریپتو AI دیده میشود
بسیاری از پروژههای کریپتو AI در معماری خود از RAG استفاده میکنند یا مدعی استفاده از آناند. کاربردهای رایج شامل موارد زیر است:
- دستیارهای مستندات — بازیابی مستندات پروتکل، وایتپیپرها یا پیشنهادهای حاکمیتی برای پاسخ به سؤالات کاربران دربارهٔ قواعد یا پارامترهای یک پروتکل.
- ابزارهای هوش کریپتو — کشیدن دادهٔ لحظهای بازار، رویدادهای on-chain یا مقالات خبری برای تولید خلاصههای تحلیلی یا هشدارها.
- پایگاههای دانش برای ایجنتها — ساخت مخازن ساختیافتهای که ایجنتهای AI پیش از اقدام میتوانند پرسمان کنند، تا تصمیمها بر پایهٔ تازهترین داده باشند.
- ریشهدهی به دادهٔ on-chain — اتصال لایهٔ بازیابی به ایندکسرهای بلاکچین تا LLM بتواند به سؤالات دربارهٔ موجودی کیف پولها، تاریخچهٔ تراکنشها یا وضعیت قراردادهای هوشمند با اطلاعات جاری پاسخ دهد، نه اسنپشاتهای زمان آموزش.
مقادیر معمول جزء AI در کارتهای پروژهٔ DecAIHub که الگوهای RAG را در بر میگیرند شامل اینهاست: «3D AI agents (RAG/memory/LLM catalog)»، «AI summaries + crypto intelligence terminal» و «AgentData (real-time data streams for AI agents)».
RAG یک مدل نیست
تصور غلط رایج، تلقی RAG بهعنوان نوعی مدل AI است. چنین نیست. RAG یک الگوی معماری است — روشی برای ترکیب یک سیستم بازیابی با یک LLM. مدل درون خط لولهٔ RAG میتواند GPT، DeepSeek، Mistral یا هر LLM دیگری باشد. جزء بازیابی میتواند پایگاه دادهٔ برداری، یک API جستوجو یا یک گراف دانش ساختیافته باشد.
گفتن «از RAG استفاده میکنیم» به شما میگوید سیستم چگونه سازمان یافته است. نمیگوید کدام مدل استفاده میشود، آیا اختصاصی است یا کیفیت بازیابی چقدر خوب است. دو پروژه میتوانند هر دو مدعی RAG باشند و سطوح پیچیدگی بسیار متفاوتی داشته باشند — یکی با پایگاه دانش بادقت پالایششده و امبدینگهای سفارشی، دیگری با نمونهٔ اولیهای شتابزده که بهندرت اسناد مرتبط برمیگرداند.
RAG چه چیزی را اثبات نمیکند
- استفاده از RAG اثبات نمیکند LLM زیرین اختصاصی یا فاینتیونشده است. پروژه ممکن است یک API ثالث را فراخوانی کند.
- ساخت خط لولهٔ RAG اثبات نمیکند کیفیت بازیابی بالاست. کیفیت به پایگاه دانش، راهبرد تکهبندی، مدل امبدینگ و ربط جستوجو بستگی دارد.
- داشتن معماری RAG اثبات نمیکند پاسخها دقیقاند. بازیابی ضعیف میتواند زمینهٔ نامربوط تزریق کند و LLM همچنان ممکن است توهم بزند.
- ذکر RAG در صفحهٔ فرود اثبات نمیکند سیستم واقعاً بازیابی انجام میدهد. بدون شواهد Tier-1 — کد، نمودارهای معماری، لاگهای دمو — ادعا تأییدنشده میماند. هنگام ارزیابی پروژهٔ کریپتو AI که مدعی RAG است، بهدنبال جزئیات باشید: چه پایگاه دانشی جستوجو میشود، چه مدل امبدینگی استفاده میشود، ربط چگونه سنجیده میشود و آیا متریکهای کیفیت منتشر شدهاند.
کجا در کارتهای پروژهٔ DecAIHub دیده میشود
RAG معمولاً در فیلد AI component ارجاع میشود — مستقیم یا از طریق توصیفهایی که به خط لولهٔ بازیابی-بهعلاوهٔ-تولید اشاره دارند. پرچم AI_1 بررسی میکند که آیا جزء AI با مشخصبودگی کافی توصیف شده است. صرفاً نوشتن «RAG» کافی نیست؛ کارت باید توضیح دهد چه چیزی، از کجا و برای چه هدفی بازیابی میشود.
اشتباه نگیرید با
- LLM — موتور تولید درون خط لولهٔ RAG. RAG بازیابی را روی آن اضافه میکند.
- آموزش — RAG الگوی زمان استنتاج است. مدل را بازآموزی نمیکند؛ پرامپت را با زمینهٔ بازیابیشده تقویت میکند.
- ایجنت AI — ایجنت میتواند از RAG بهعنوان یکی از ابزارهایش استفاده کند، اما RAG بهتنهایی سیستم را ایجنت نمیکند.
- فاینتیونینگ — فاینتیونینگ وزنهای مدل را در مرحلهٔ آموزش تنظیم میکند. RAG دانش بیرونی را در زمان استنتاج بدون تغییر مدل تزریق میکند.
- لایهٔ بازیابی / دانش — جزء بازیابی نیمی از RAG است. RAG مرحلهٔ تولید را روی بازیابی خالص اضافه میکند.
پرسشهای متداول
تفاوت RAG و فاینتیونینگ چیست؟
فاینتیونینگ وزنهای مدل را با آموزش روی یک دیتاست تخصصی برای همیشه تغییر میدهد. دانش جدید بخشی از خود مدل میشود. RAG مدل را دستنخورده میگذارد و در عوض اسناد مرتبط را در زمان پرسمان فراهم میکند. فاینتیونینگ برای آموختن سبک یا قالب وظیفهٔ جدید به مدل بهتر است؛ RAG برای ریشهدار نگه داشتن پاسخها در واقعیتهای تازه و قابلتأیید. بسیاری از سیستمهای تولیدی از هر دو استفاده میکنند — مدل فاینتیونشده لحن و قالب را بر عهده دارد و RAG ریشهٔ واقعیتمحور بهروز را فراهم میکند.
آیا RAG دقت LLMها را بیشتر میکند؟
RAG میتواند با ریشه دادن خروجی مدل در شواهد بازیابیشده، توهمها را بهطور چشمگیری کاهش دهد. با این حال، دقت به کیفیت بازیابی بستگی دارد. اگر سیستم بازیابی اسناد نامربوط یا کهنه برگرداند، LLM ممکن است پاسخهایی بدهد که با اطمینان اشتباهاند — این بار با پشتوانهٔ شواهد غلط. RAG سقف دقت را بالا میبرد اما آن را تضمین نمیکند. اندازهگیری precision و recall بازیابی برای هر استقرار جدی RAG ضروری است.
پایگاه دادهٔ برداری چیست؟
پایگاه دادهٔ برداری یک ذخیرهگاه دادهٔ تخصصی است که برای نگهداری و جستوجوی بردارهای عددی با ابعاد بالا (امبدینگها) طراحی شده است. وقتی امبدینگ یک پرسمان ارسال میشود، پایگاه داده یک جستوجوی شباهت انجام میدهد — معمولاً با الگوریتمهایی مانند HNSW یا IVF — تا نزدیکترین بردارهای منطبق را بیابد. این جستوجوی معنایی را ممکن میکند: یافتن اسناد بر اساس معنا و نه تطبیق دقیق کلیدواژه. پایگاههای دادهٔ برداری محبوب شامل Pinecone، Weaviate، Qdrant، Milvus و Chroma هستند.
RAG در پروژههای کریپتو AI چگونه استفاده میشود؟
پروژههای کریپتو AI از RAG برای اتصال LLMها به دادهٔ مخصوص بلاکچین استفاده میکنند: مستندات پروتکل، پیشنهادهای حاکمیتی، تاریخچهٔ تراکنشهای on-chain، فیدهای قیمت لحظهای و کد منبع قراردادهای هوشمند. لایهٔ بازیابی این منابع تخصصی را جستوجو میکند تا LLM بتواند به سؤالات دامنهمحور با دادهٔ جاری پاسخ دهد، بهجای اتکا به دانش کهنهٔ آموزش. کیفیت چنین سیستمهایی بسیار متغیر است — از پایگاههای دانش خوشایندکس و پالایششده تا چیدمانهای حداقلی که زمینهٔ مفید اندکی بازیابی میکنند.
آیا RAG میتواند با دادهٔ on-chain کار کند؟
بله. لایهٔ بازیابی در خط لولهٔ RAG میتواند به ایندکسرهای بلاکچین، سابگرافها یا APIهای تحلیلی on-chain وصل شود. وقتی کاربر دربارهٔ موجودی کیف پول، تاریخچهٔ تراکنش یا وضعیت قرارداد هوشمند میپرسد، سیستم بازیابی دادهٔ on-chain مرتبط را میگیرد و LLM توضیحی خوانا برای انسان تولید میکند. چالشهای اصلی عبارتاند از تأخیر (پرسمانهای بلاکچین میتوانند کند باشند)، قالببندی داده (دادهٔ خام on-chain باید برای امبدینگ تجزیه و تکهبندی شود) و تازگی (ایندکس باید آنقدر مرتب بهروز شود که وضعیت جاری زنجیره را بازتاب دهد).
همچنین ببینید
- LLM چیست
- جزء AI چیست
- رپر API چیست
- متریکهای کیفیت AI چیست
- استنتاج چیست
- فاینتیونینگ چیست
- لایهٔ بازیابی / دانش چیست
- چگونه بفهمیم پروژه واقعاً AI دارد
- شواهد Tier-1، Tier-2 و Tier-3
منابع خارجی
- Lewis, P. et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks." arXiv, 2020. https://arxiv.org/abs/2005.11401
- Gao, Y. et al. "Retrieval-Augmented Generation for Large Language Models: A Survey." arXiv, 2024. https://arxiv.org/abs/2312.10997
- AWS. "What is RAG?" https://aws.amazon.com/what-is/retrieval-augmented-generation/
- Pinecone. "Retrieval-Augmented Generation (RAG)." https://www.pinecone.io/learn/retrieval-augmented-generation/
- Microsoft. "Retrieval-Augmented Generation (RAG) in Azure AI Search." https://learn.microsoft.com/en-us/azure/search/retrieval-augmented-generation-overview
No comments to display
No comments to display