تطوير python bitarray حذف الأسطر المكررة

بايثون برمجة الذكاء الاصطناعي تطوير البرمجيات هندسة البرمجيات برمجة التطبيقات تطوير التطبيقات بايثون برمجة الذكاء الاصطناعي تطوير البرمجيات هندسة البرمجيات برمجة التطبيقات تطوير التطبيقات

السلام عليكم لدي سكربت بايثون يقوم بحذف الاسطر المكررة من ملفات ضخمة تصل الى 300GB و 5 مليار سطر، ويعتمد على bitarray في التحقق من تكرار السطر الية العمل الحالية كالتالي: يتم تحليل كل سطر لاستخراج معلومات معينة منه من خلال tldextract , ثم يتم جمع هذه المعلومات وتوليد قيمة hash باستخدام xxhash من المعلومات التي تم سحبها من السطر . بعدها يتم فحص هذه القيمة داخل bitarray. اذا لم يتم العثور على القيمة, يعني ان السطر جديد ويتم حفظ السطر بالكامل في الملف الجديد. اما اذا تم العثور على القيمة , فيتم تجاهل السطر لانه مكرر. بعد الانتهاء يتم حفظ bitarray لاستعمالها على ملفات اخرى السكربت لا يستهلك الذاكرة , ويعمل سطر بسطر , فقط 8 جيجا ل bitarray و اقل من 3% من المعالج المشكلة الحالية انه يعالج فقط حوالي 150 الف سطر في الثانية , وانا اريد ان اصل الى سرعة اكبر من اربعة مليون سطر في الثانية . لانه حاليا بهذه السرعة لا يستهلك اي شيء من موارد الجهاز , بسبب انه يعمل بطريقة متسلسلة سطر بسطر اريد تعديله باستعمال اي تقنيات او خوارزميات ترفع الاداء للوصول الى الهدف ، اريد حل مباشر من شخص لديه خبرة فعلية في هذا النوع من المشاريع . وشكرا