تجهيز بيانات chat gpt

بايثون برمجة اللغة العربية الذكاء الاصطناعي تطوير البرمجيات برمجة قواعد البيانات برمجة مواقع بايثون برمجة اللغة العربية الذكاء الاصطناعي تطوير البرمجيات برمجة قواعد البيانات برمجة مواقع

السلام عليكم ورحمة الله وبركاته، أرغب بالتعاون مع مبرمج ذكاء صناعي على مشروع متكامل لإعداد قاعدة معرفية (RAG – Retrieval Augmented Generation) بحيث: لدي مجموعة من الملفات TXT وحساب open ai وسيرفر vps المطلوب منك : تجهيز البيانات بشكل منسق ومقسم (chunking) بما يناسب التدريب والاسترجاع لاحقًا. تحويل البيانات إلى Embeddings استخدام نموذج OpenAI مثل: text-embedding-3-large (للدقة العالية) الهدف: تمثيل البيانات في صورة متجهات رقمية. قاعدة بيانات متجهية (Vector Database) اختيار قاعدة مناسبة مثل: Pinecone، Weaviate، Qdrant، أو حتى PostgreSQL + pgvector. ( يتم اختيار الافضل حينها ) رفع جميع الـ embeddings الخاصة بملفاتي وروابطي إليها. إعداد واجهة API وسيطة إعداد سكربت/سيرفر API بحيث: يستقبل سؤال المستخدم. يبحث في قاعدة البيانات (Vector DB). يسترجع المقاطع الأكثر صلة (Top-k). يرسلها مع سؤال المستخدم إلى واجهة OpenAI GPT-4o. بهذه الطريقة النموذج يكون معزز بالمعرفة الخاصة بي (RAG). اختبار المشروع التأكد أن أي استعلام يجيب من البيانات الخاصة بي مع رد من GPT-4o. التأكد من أن الاسترجاع سريع ومناسب. المطلوب منك: تسلّمني المشروع جاهز بحيث تكون كل الخطوات (تنظيف، تقسيم، embedding، تخزين، API) مُعدة. ما يبقى علي إلا أن أقوم أنا بعملية ربط شات GPT-4o مع موقعي والشات الخاص بي مباشرة.