از Shodan تا SearXNG: موتورهای جستجویی که دنیای پنهان وب را آشکار می‌کنند

1

گوگل برای جستجوهای عمومی عالی عمل می‌کند، اما ابزارهای تخصصی متعددی وجود دارند که کارهایی انجام می‌دهند که گوگل قادر به انجام آن نیست یا تمایلی به انجام آن ندارد. این پنج ابزار می‌توانند وب‌سایت‌های آرشیو شده را جستجو کنند، مخازن کد را اسکن کنند، دستگاه‌های متصل به اینترنت را بیابند و بدون ردیابی نتایج را در اختیار شما قرار دهند.

۵. Shodan

Shodan اغلب به عنوان «گوگل برای کامپیوترها» شناخته می‌شود. به‌جای پیمایش وب‌سایت‌ها، این ابزار، دستگاه‌های متصل به اینترنت، از تلویزیون‌های هوشمند گرفته تا سیستم‌های صنعتی را نقشه‌برداری و شاخص‌گذاری می‌کند.

برای نمونه، کافی است کلمه‌ی webcam را در نوار جستجو وارد کنید تا دوربین‌های متصل و بدون امنیت را مشاهده کنید. یا اگر عبارت default password را جستجو کنید، مودم‌ها و پایگاه‌های داده‌ای را می‌بینید که همچنان با گذرواژه‌های کارخانه مثل admin/admin فعال‌اند. Shodan امکان ورود به این دستگاه‌ها را فراهم نمی‌کند، اما نشان می‌دهد چه تعداد از آن‌ها فقط به‌دلیل تغییر ندادن تنظیمات پیش‌فرض، ناامن باقی مانده‌اند.

این ابزار می‌تواند برای ارزیابی امنیت شبکه‌های شخصی بسیار کاربردی باشد. شما می‌توانید سرورهای فراموش‌شده یا پایگاه‌های داده‌ی پیکربندی‌نشده را پیش از آنکه مهاجمان به آن‌ها دسترسی یابند، پیدا کنید. Shodan امکان جستجو بر اساس کشور، شماره پورت، سیستم‌عامل یا نسخه‌های خاص محصولات را نیز دارد. نسخه رایگان ۵۰ نتیجه در هر جستجو نمایش می‌دهد که برای کاوش کافی است، در حالی‌که نسخه‌های حرفه‌ای از ۶۹ دلار در ماه آغاز می‌شوند.

۴. Archive.org Wayback Machine

احتمالاً می‌دانید که Wayback Machine نسخه‌های قدیمی وب‌سایت‌ها را در اختیار شما می‌گذارد، اما شاید ندانید که جستجوی پیشرفته‌ی آن اجازه می‌دهد نتایج را بر اساس نوع فایل، الگوهای URL یا محتوای خاص در میان میلیون‌ها صفحه‌ی بایگانی‌شده فیلتر کنید؛ حتی فایل‌هایی که شرکت‌ها سال‌ها پیش حذف کرده‌اند.

این ابزار برای روزنامه‌نگاران، محققان و حتی جویندگان کار بسیار مفید است. برای مثال، هنگام جستجوی شغل می‌توانید بررسی کنید که آیا آگهی‌های قدیمی‌تر شامل محدوده حقوقی بوده‌اند که در نسخه‌های جدید حذف شده است یا خیر. همچنین تیم‌های حقوقی از آن برای ارائه مدرک در پرونده‌ها استفاده می‌کنند.

۳. PublicWWW

اگر می‌خواهید بدانید یک وب‌سایت محبوب چگونه ساخته شده و از چه فناوری‌هایی بهره می‌برد، می‌توانید به صورت دستی کد منبع را بررسی کنید. اما PublicWWW امکان جستجو در میان بیش از ۴۷۷ میلیون صفحه وب شامل HTML، CSS و JavaScript را می‌دهد.

این ابزار به شما اجازه می‌دهد وب‌سایت‌هایی را بیابید که از یک درگاه پرداخت، ابزار تحلیل یا نسخه‌ی خاصی از یک فریم‌ورک استفاده می‌کنند. همچنین می‌توانید با استفاده از شناسه‌ی Google Analytics، تمام وب‌سایت‌های متعلق به یک شرکت را پیدا کنید. محدودیت این ابزار آن است که تنها صفحات اصلی را فهرست می‌کند، اما در اغلب موارد همین مقدار کافی است، چرا که بیشتر اطلاعات فنی در همان صفحه‌ی نخست قابل مشاهده است.

۲. Grep.app

Grep.app که اکنون متعلق به Vercel است، یک موتور جستجوی رایگان کد است که امکان جستجو در تمام مخازن عمومی GitHub را به‌صورت فوری فراهم می‌کند. برخلاف جستجوی داخلی GitHub، این ابزار از عبارات منظم (Regex) پشتیبانی می‌کند و به شما اجازه می‌دهد الگوهای پیچیده را در زبان‌های برنامه‌نویسی مختلف جستجو کنید.

این قابلیت به‌ویژه زمانی مفید است که به دنبال نمونه‌های واقعی کدنویسی یا الگوهای اعتبارسنجی باشید. کافی است پیام خطا یا تابع موردنظر را جستجو کنید تا ببینید سایر توسعه‌دهندگان چگونه آن را حل کرده‌اند. سرعت بالا و رابط ساده‌ی Grep.app آن را به منبعی ارزشمند برای برنامه‌نویسان تبدیل کرده است.

۱. SearXNG

SearXNG یک موتور جستجوی متن‌باز و متمرکز بر حریم خصوصی است که نتایج را از بیش از ۲۳۰ منبع مختلف جمع‌آوری می‌کند، بدون آنکه هیچ کوکی، ردیاب یا اثر انگشتی ذخیره کند. مزیت اصلی آن تجمیع نتایج است. هر موتور جستجو در بخشی خاص عملکرد بهتری دارد، و SearXNG همه را یک‌جا جمع کرده، موارد تکراری را حذف و نتایج را بر اساس ارتباط رتبه‌بندی می‌کند. این ابزار از عملگرهای پیشرفته‌ی گوگل مانند site: و filetype: پشتیبانی می‌کند و حتی عملگرهای اختصاصی‌تری مانند !images، !news یا !papers را نیز ارائه می‌دهد.

برای بیشتر افراد، ساده‌ترین روش استفاده از SearXNG بهره‌گیری از نسخه‌های عمومی مانند searx.be است، هرچند می‌توان آن را به‌صورت شخصی نیز روی سرور نصب کرد. سرعت آن به دلیل جستجو در منابع متعدد کمی کمتر است، اما کیفیت نتایج و حریم خصوصی بیشتر را در عوض دریافت می‌کنید.

سخن پایانی

این ابزارها در فضایی میان گوگل و دارک وب فعالیت می‌کنند: قانونی، عمومی و مبتنی بر شاخص‌های تخصصی خودشان. با استفاده‌ی مسئولانه از آن‌ها می‌توانید بفهمید تا چه اندازه از اینترنت فراتر از یک کادر جستجوی ساده قرار دارد.