في هذه المقاله سأقوم بالشرح ” خطوه بخطوه ” كيف تقوم ببرمجه الـGoogle Scraper الخاص بك بسهوله بلغه البايثون ومن ثم جعله Scanner أو Mass Exploiter

المتطلبات :

ولتثبيت المكتبات المطلوبه نقوم بالأمر الأتي :

أولا لنفهم كيف يعمل البحث في جوجل

هذا الرابط يأخذ 2 باراميتر وهما q و start

الباراميتر q يحمل الكلمه التي نبحث عنها

الباراميتر start يحمل رقم صفحه البحث التي نحن بها مضروب في 10

ولذلك أذا أردت مثلا البحث عن كلمه isecur1ty فستكون هذه النتيجه

والأن لنقوم بعمل تجربه بسيطه ونري أذا كنا سنستطيع أن نأتي بكود الصفحه الأولي في البحث

فيقوم بكتابه الكود المصدري للصفحه الأولي

p1

الأن سنستخدم مكتبه beautifulsoup4 لجلب البيانات التي نحتاجها فقط من الكود

 

كما نري فالبيانات التي نحتاجها تكمن داخل تاج h3 بالـclass r

اذا نستنتج الأن أن كل صفحه سيكون بها 10 تاجات <“h3 class=”r> وبداخل كل تاج <a href> يحتوي علي الرابط الخاص بنتيجه البحث

اذا الأن سنستخدم مكتبه beautifulsoup4 ومكتبه re لفرز نتيجه البحث

فستجد روابط الصفحه الأولي في البحث

الأن لنقوم بتنظيم الكود قليلا ولذلك سأقوم بعمل داله للبحث ولجعل الأداه قابله للأستخدام من التيرمنال سأقوم بأستخدام مكتبه sys ولكن تستطيع أستخدام أي مكتبه أخري أذا أردت مثل argparse أو docopt

والأن نقوم بتجربته بالبحث عن كلمه facebook وعرض نتايج أول صفحه فقط

رائع الكود يعمل بسلاسه والأن لنضيف أليه السرعه ليقوم بفحص صفحات أكثر في وقت أقل وسنقوم بذلك عن طريق مكتبه Multiprocessing فيصبح الكود كالأتي

لاحظ أنني قمت بأستخدام مكتبه functools حتي أقوم بتجزئه المهام علي كل بروسيس

والأن نقوم بأختبار السكربت بالبحث عن كلمه facebook مجددا ولكن في 20 صفحه وسأستخدم 6 بروسيس ولنري كيف أصبحت سرعه السكربت 😀

كما تري السكربت أصبح أسرع بحوالي 6 مرات عند أستخدام

تحذير :

لا تقم بأستخدام أكثر من 8 بروسيس حيث أن جوجل سيقوم بعمل حذر لجهازك أو بأظهار كابتشا بدل صفحه البحث , ولذلك يفضل أن لا يظل عدد البروسيس أقل من 8 .

 

وكان هذا الجزء الأول من طريقه عمل الأداه الخاصه بك للبحث في جوجل وفحص الثغرات بلغه البايثون وفي المقاله القادمه سأشرح كيف تطور هذه الأداه وتجعلها تفحص المواقع من الثغرات مثل sqli
المصدر الرئيسي للمقاله

Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedIn