اگر شما صاحب کسب‌وکار، بازاریاب و مدیر سایت هستید و یا در فکر راه‌اندازی یک کسب‌وکار یا بلاگ شخصی برای خود هستید، باید بدانید که موتورهای جست‌وجو چگونه کار می‌کنند. درک نحوهٔ کار موتورهای جست‌وجو، به شما کمک می‌کند تا وبسایتی بسازید که موتورهای جست‌وجو به خوبی می‌توانند اجزای آن را شناسایی و درک کنند.
آشنایی با نحوهٔ کار موتورهای جست‌وجو، اولین قدم در شروع یادگیری اصول سئو و یا بازاریابی موتورهای جست‌وجو (SEM) است. در این مقاله سعی می‌کنیم تا فعالیت‌های اصلی موتورهای جست‌وجو را به صورت کامل توضیح دهیم.
یک موتور جست‌وجو چه کاری انجام می‌دهد؟
گوگل به صورت سالانه بیشتر از ۲ تریلیون سرچ را مدیریت می‌کند. رقمی بسیار بزرگ و باورنکردنی. اما اگر به زندگی روزمرهٔ خود دقت کنیم، این رقم خیلی هم عجیب نیست. خیلی از ما به صورت متوسط روزانه، ۵ تا ۱۰ بار چیزی را در گوگل جست‌وجو می‌کنیم. بدون آن که به تعداد دفعات استفاده‌مان از این موتور جست‌وجو یا موتورهای جست‌وجوی دیگر دقت کنیم. گوگل برای ما ابزاری برای یادگیری، خرید، سرگرمی و گاهی ابزاری برای کار است.
عجیب نیست اگر بگوییم که اکثر کارهای روزمرهٔ ما به گوگل وابسته است. دلیلش هم مشخص است. این که می‌دانیم گوگل می‌تواند جواب همهٔ سوالات و نیازهای ما را بدهد.
اما دقیقاً در لحظه‌ای که یک جمله را تایپ می‌کنیم و کلید سرچ را می‌زنیم، چه اتفاقی می‌افتد؟ گوگل دقیقاً چگونه و بر چه اساسی تصمیم می‌گیرد چه نتایجی را نمایش دهد؟ در مورد ترتیب نمایش نتایج چگونه تصمیم‌گیری می‌کند؟
نحوهٔ کار یک موتور جست‌وجو
موتورهای جست‌وجو، نرم‌افزارهای فوق‌العاده پیچیدهٔ کامپیوتری هستند. تخمین زده می‌شود که گوگل، بیش از ۲ میلیارد خط کد دارد. که آن را به پیچیده‌ترین و بزرگ‌ترین برنامه کامپیوتری در کل دنیا تبدیل می‌کند. این در حالی است که مجموعه نرم‌افزارهای آفیس، که یکی از محبوب‌ترین و کارآمدترین نرم‌افزارها در دنیا هستند، ۵۰ میلیون خط کد دارند.
پیش از این که شما عبارتی را در موتورهای جست‌وجو تایپ کنید و دکمهٔ سرچ را بزنید، این موتورها باید کارهای زیادی انجام بدهند. در واقع این سایت‌ها برای این که بتوانند درخواست شما را عملی کنند، احتیاج به آماده‌سازی دارند.
اما این آماده‌سازی دقیقاً چیست؟ می‌توان آن را به سه بخش کلی تقسیم کرد. بخش اول شامل کشف اطلاعات و ذخیرهٔ آن‌هاست. بخش دوم شامل مرتب کردن اطلاعات و بخش سوم شامل رتبه‌بندی آن‌هاست. به این مراحل در دنیای اینترنت به ترتیب خزیدن (Crawling)، ایندکس کردن (Indexing) و رتبه‌بندی (Ranking) گفته می‌شود.
مرحلهٔ ۱: خزیدن
موتورهای جست‌وجو دارای تعدادی برنامه‌های کامپیوتری هستند که خزندهٔ وب (Web Crawlers) نام دارند. این‌ها برنامه مسئولیت پیدا کردن صفحات و اطلاعات موجود در اینترنت را بر عهده دارند. به این برنامه‌ها، گاهی ربات یا عنکبوت موتورهای جست‌وجو نیز گفته می‌شود. علت این نام‌گذاری در معنای وب نهفته است. وب (Web) در زبان انگلیسی به معنای تار (عنکبوت) است. در واقع دنیای اینترنت به یک تار بسیار بزرگ تشبیه می‌شود. بنابراین برنامه‌هایی که در این تار بزرگ می‌خزند، عنکبوت هستند. اصطلاح خزیدن نیز بر همین مبنا انتخاب شده است.
کار اصلی این خزنده‌ها، این است که اینترنت را به صورت کامل اسکن و سرورهای هاستینگ را پیدا کنند. سپس فهرستی از این وب‌سرورها تهیه می‌کنند و لیستی از وبسایت‌هایی که در این وب‌سرورها حضور دارند، درست می‌شود. سپس این وبسایت‌ها را چک می‌کنند و اطلاعات آن‌ها را ذخیره می‌کنند.
در هنگام چک کردن یک صفحه اینترنتی، این برنامه‌ها تمامی لینک‌های موجود در صفحه‌ها را نیز چک می‌کنند. به این ترتیب مرتباً صفحات جدید و جدیدتری را کشف می‌کنند. به همین خاطر است که لینک‌دهی داخلی در مقالات و صفحات یک سایت اهمیت زیادی دارد.
این خزنده‌ها این کار را بعداً بارها و بارها تکرار می‌کنند تا در صورتی که تغییراتی در هر صفحه به وجود آمد، از آن مطلع شوند. در حال حاضر بیش از ۱۳۰ تریلیون صفحهٔ منحصر به فرد در اینترنت وجود دارند و روزانه ده‌ها هزار صفحهٔ جدید نیز به آن‌ها اضافه می‌شود. مشخص است که کار این خزنده‌های وب بسیار زیاد است و تمامی ندارد.
مرحلهٔ ۲: ایندکس کردن
اطلاعات کشف و ذخیره شده توسط خزنده‌ها، باید پیش از این که به دست کاربر جست‌وجوگر برسد، مرتب‌سازی و سازماندهی شود. به این پروسه، ایندکس کردن گفته می‌شود.
موتورهای جست‌وجو تمامی اطلاعات مربوط به یک صفحه را در ایندکس خود ذخیره نمی‌کنند. اطلاعاتی مانند تاریخ ساخت صفحه، تاریخ به‌روزرسانی صفحه، عنوان و متن، نوع محتوا، کلمات کلیدی و لینک‌های ورودی و خروجی از اطلاعاتی هستند که ایندکس می‌شوند و بعداً الگوریتم‌ها از آن‌ها استفاده می‌کنند.
اهمیت ایندکس کردن مشخص است. اگر وبسایت شما در ایندکس موتورهای جست‌وجو حضور نداشته باشد، طبعاً در صفحه نتایج هم دیده نخواهد شد. همچنین می‌تواند به این معنا باشد که هر چه تعداد صفحات سایت شما در ایندکس بیشتر باشد، شانس شما برای دیده شدن در صفحه نتایج بیشتر می‌شود. دقت کنید که اینجا فقط در مورد «دیده شدن در صفحه نتایج» صحبت کردیم، نه رتبهٔ آن‌ها. برای این که وبسایت شما و محتواهای شما در صفحهٔ اول نتایج قرار بگیرد، باید آن‌ها را به صورت کامل مطابق با اصول سئو بهینه‌سازی کنید.
چگونه بفهمیم سایتمان در گوگل ایندکس شده یا نه؟
برای این که بفهمید سایت شما در گوگل ایندکس شده یا این که بفهمید کدام یک صفحات سایتتان در گوگل ایندکس شده، می‌توانید site: را تایپ کنید و سپس دامنهٔ سایت خود را وارد کنید. مثلاً برای دیدن صفحات ایندکس شده از سایت آژانس تولید محتوای نیم‌فاصله، باید عبارت site:nimfaseleh.ir را در گوگل سرچ کرد. با سرچ این عبارت، تمامی صفحات ایندکس شده از این دامنه در صفحه نتایج به نمایش درمی‌آید.
ضمن این که با ثبت نام در Google Search Console و اضافه کردن سایت خود به این پلتفرم، می‌توانید از ایندکس شدن صفحات سایت خود اطمینان حاصل کنید. ضمن این که می‌توانید فهرست تمامی صفحات ایندکس شده از سایت خود را در این پلتفرم مشاهده کنید.
مرحلهٔ ۳: رتبه‌بندی
مرحلهٔ سوم و نهایی در پروسهٔ آماده‌سازی موتورهای جست‌وجو، تصمیم‌گیری برای ترتیب نمایش نتایج در صفحه نتایج است. این کار توسط الگوریتم‌هایی انجام می‌شود که الگوریتم رتبه‌بندی (Ranking Algorithm) نام دارند.
این الگوریتم‌ها نیز بسیار پیچیده‌اند. اما ساده اگر بخواهیم بگوییم، این الگوریتم‌ها یک سری قوانین برای خودشان دارند که بر اساس آن‌ها و با تحلیل اطلاعات به دست آمده در دو مرحلهٔ قبلی، در مورد ترتیب نمایش سایت‌ها در صفحه نتایج تصمیم‌گیری می‌کنند.
الگوریتم‌ها دقیقاً چگونه کار می‌کنند؟
الگوریتم‌های گوگل در ابتدای کار بسیار ساده بودند. صرفاً عبارت جست‌وجو شده را با عنوان یا متن محتوا تطبیق می‌دادند و نتایج را نمایش می‌دادند. امروزه الگوریتم‌های گوگل از پیچیده‌ترین الگوریتم‌های موجود در دنیا محسوب می‌شوند. بیش از ۲۵۵ قانون برای خود دارند که بر اساس آن‌ها ترتیب‌ها را مشخص می‌کنند. ما دقیقاً نمی‌دانیم این قوانین چه هستند. گفته می‌شود حتی لری پیج و سرگی برین (بنیان‌گذاران اصلی گوگل) نیز دقیقاً نمی‌دانند این قوانین چیست. اما برخی از آن‌ها به صورت تجربی برایمان مشخص شده‌اند. یعنی دقیقاً همان قوانینی که در سئو گوشزدشان می‌کنیم.
برخی از ویژگی‌های محتوا و صفحه که مطمئنیم در به نمایش درآمدن و رتبه‌بندی تأثیر دارند را در ادامه آورده‌ایم:
- عنوان و مرتبط بودن محتوا: الگوریتم بر اساس عنوان و متن محتوا، تصمیم‌گیری می‌کند که آیا عبارت جست‌وجو شده با محتوای سایت مطابقت دارد یا خیر.
- نوع محتوا: اگر کاربر به صورت خاص اشاره به نوع محتوا کند (مثلاً ویدئو) نتایج نمایش داده شده فقط شامل ویدئو خواهد بود. (حداقل در صفحات اول)
- کیفیت محتوا: محتوای سایت باید دقیق، شفاف، مفید و بی‌طرفانه نوشته شده باشد. این که گوگل چگونه چیزی را تشخیص می‌دهد، مشخص نیست. ولی می‌دانیم تا حد زیادی به رفتار کاربران بستگی دارد. (مثلاً نرخ پرش)
- کیفیت سایت: کیفیت سایت به صورت کلی نیز برای گوگل اهمیت دارد. گوگل سایت‌هایی که از نظر فنی و کیفی با استانداردهایش مطابق نیستند را نمایش نمی‌دهد.
- تاریخ انتشار: برای محتواهای خبری، گوگل به تاریخ انتشار محتوا نیز دقت می‌کند.
- زبان صفحه: تطابق زبان کوئری (عبارت جست‌وجو شده) و سایت مورد نظر برای گوگل اهمیت دارد.
- سرعت بارگذاری صفحه: سرعت بارگذاری سایت برای کاربران اهمیت دارد، در نتیجه برای گوگل نیز اهمیت دارد و سایت‌هایی که کند هستند، شانس زیادی برای رتبهٔ خوب داشتن در صفحه نتایج ندارند.
- نوع دستگاه: اگر کاربر بر روی موبایل جست‌وجو کند، صفحاتی برای او به نمایش درمی‌آید که برای موبایل بهینه‌سازی شده باشند.
- مکان کاربر: اگر کاربر بر اساس مکان فعلی‌اش جست‌وجو کند، لوکیشن او نیز در نظر گرفته می‌شود. مثلاً اگر سرچ کنید «رستوران‌های نزدیک من»، وبسایت و صفحات مربوط به رستوران‌های نزدیک شما شانس بیشتری برای قرار گرفتن در صفحه اول نتایج خواهند داشت.
سخن آخر
موتورهای جست‌وجو به برنامه‌های فوق پیچده‌ای تبدیل شده‌اند. تنها دخالت انسانی در کارهای آن‌ها، مربوط به تغییر دادن کدها یا الگوریتم‌هاست. حجم داده‌ها آنقدر بالاست که عملاً دخالت انسان در تصمیم‌گیری‌ها غیر ممکن است.
بنابراین ما مجبوریم صفحات و وبسایت‌های خودمان را به گونه‌ای بسازیم که توسط ربات‌ها و برنامه‌های کامپیوتری فهمیده شوند. برای این که بتوانیم در صفحات نتایج، رتبهٔ خوبی داشته باشیم، باید وبسایت خود را با رعایت قوانین سئو بسازیم. قوانین سئو هم بر اساس تجربه به دست آمده‌اند. همان‌گونه که پیش از این نیز اشاره کردیم، ما دقیقاً نمی‌دانیم الگوریتم‌ها چگونه کار می‌کنند و چه قوانینی دارند. اما این‌گونه هم نیست که هیچی ندانیم. بر مبنای تجربه، بسیاری از قوانین و فاکتورهایی که برای الگوریتم‌ها مهم هستند را به دست آورده‌ایم. با رعایت آن‌ها، به سادگی می‌توانیم به رتبه‌های خیلی خوب در گوگل و دیگر موتورهای جست‌وجو برسیم.