دنیای سئو پر از عوامل مختلفی است که می‌توانند بر جایگاه شما در نتایج جستجو تاثیر مثبت یا منفی بگذارند. یکی از تهدیدهای پنهانی که به طور نامحسوس می‌تواند رتبه‌ی شما را پایین آورد، “محتوای تکراری” است!
گوگل در نسخه‌های اولیه‌ی مقاله‌ای با عنوان Deftly dealing with duplicate content به صراحت اعلام کرده بود که در صورت مشاهده محتوای تکراری در وب‌سایت‌ها، ممکن است آن سایت را از فهرست نتایج جستجو خود به‌طور کامل حذف کند! (تصویر زیر)
اما خوشبختانه رویکرد گوگل در حال حاضر تغییر پیدا کرده و در نسخه‌های اخیر اعلام کرده است که ترجیح می‌دهد نسخه اصلی را شناسایی و نسخه‌های تکراری را از ایندکس خود خارج کند. در بدترین حالت نیز ممکن است نسخه‌ای که از نظر شما بهترین نسخه از صفحات شما نیست، در گوگل ایندکس شود. (توضیحات در تصویر زیر)
با این توضیحات اگر صفحات تکراری به قصد درستکاری نتایج جستجو در سایت شما ایجاد نشده است، جای نگرانی نیست، اما اگر این کار را با این منظور یعنی دستکاری نتایج جستجو (manipulate search engine rankings) انجام داده‌اید، باید نگران عواقب کار خود باشید!
با توضیحاتی که در این مقاله خواهیم داد می‌توانید علت بوجود آمدن صفحه‌های تکراری در سایت خود را شناسایی کنید و برای برطرف کردن تاثیر منفی احتمالی آن اقدام کنید. تا پایان این مقاله همراه ما باشید.
محتوای تکراری چیست؟
محتوای تکراری به محتوایی اطلاق می‌شود که عیناً یا با اندکی تغییر، در دو یا چند صفحه در فضای وب وجود داشته باشد. این محتوا می‌تواند شامل مقالات، توضیحات محصولات، پست‌های وبلاگ، عناوین و متا دیتا باشد. حتی اگر یک محتوا، کپی دقیقی از منبع دیگری نباشد، اما شباهت زیادی به آن داشته باشد، باز هم در دسته محتوای تکراری قرار می‌گیرد.
📣 نکته: اینکه این صفحات در یک وبسایت یا در وبسایت‌های متفاوت باشند، تفاوتی در تکراری بودن ایجاد نمی‌کنند و همچنان این موضوع یعنی تکراری بودن محتوا به قوت خوب باقی خواهد بود.
در تصویر زیر می‌توانید مصادیق محتوای تکراری را درک کنید.
برای اینکه یک محتوا، تکراری در نظر گرفته شود، باید یکی از ویژگی‌های زیرا را داشته باشد:
- شباهت زیاد: محتوای تکراری به متنی گفته می‌شود که شباهت زیادی به یک محتوای دیگر در فضای وب داشته باشد. این شباهت می‌تواند در جمله‌بندی، ساختار و قالب باشد.
- ارزش کم: این نوع محتوا اطلاعات جدید یا مفیدی ارائه نمی‌دهد و عملاً کپی از محتوای موجود است.
- بی‌فایده برای خواننده: معمولا محتوای تکراری ارزش افزوده‌ای برای خواننده ندارد و اطلاعات جدیدی به او ارائه نمی‌دهد.
علت به وجود آمدن محتوای تکراری چیست؟
عوامل متعددی می‌توانند منجر به ایجاد محتوای تکراری یا Duplicate Content شوند که از جمله آنها می‌توان به مشکلات ساختاری وبسایت اشاره کرد. در ادامه به 6 مورد از متداول‌ترین علل بروز این موضوع اشاره خواهیم کرد.
1. عدم مدیریت صحیح نسخه‌های WWW و Non-WWW
کاربران اینترنت می‌توانند هم از طریق URL حاوی “www” و هم از طریق URL بدون “www” سایت شما را باز و به آن دسترسی داشته باشند. حال اگر این موضوع به درستی مدیریت نشود، می‌تواند منجر به ایجاد محتوای تکراری شود.
به‌طور مثال فرض کنید وبسایت شما همانند یک خانه با چندین درب ورودی باشد (مثلا یک درب از خیابان شمالی و یک درب از خیابان جنوبی) که افراد می‌توانند از طریق این درب‌های مختلف وارد خانه شما شوند. حال اگر فردی از دو دسته گروه مختلف آدرس خانه شما را بپرسد، ممکن است یک گروه از مسیر خیابان شمالی و گروه دیگر از مسیر خیابان جنوبی به او آدرس دهند. اگرچه هر دو گروه در حال دادن اطلاعات صحیح به این فرد هستند، اما فرد مذکور در این مورد دچار سردرگمی خواهد شد و در اعتماد به حرف این دو گروه تردید خواهد کرد.
حال اگر برای وبسایت شما نیز چنین موضوعی وجود داشته باشد، احتمالا موتورهای جستجو مانند گوگل، به دلیل تفاوت ظاهری در آدرس، آنها را به عنوان دو صفحه مجزا در نظر بگیرد. چنین سو برداشتی از صفحات سایت شما تبعاتی دارد که در تیتر “تاثیر محتوای تکراری بر سئو” (در ادامه مقاله) به آن اشاره خواهیم کرد.
2. دسترسی با دو نسخه HTTP و HTTPS
استفاده از هر دو پروتکل HTTP و HTTPS برای دسترسی به وبسایت شما می‌تواند همانند عدم مدیریت صحیح نسخه‌های WWW و Non-WWW منجر به مشکل محتوای تکراری شود. این موضوع به منزله وجود دو نسخه از وبسایت شماست. از این رو باید مشخص کنید که کدام نسخه (که طبیعتا باید نسخه https را در نظر بگیرید)، نسخه اصلی درگاه ورود به سایت شما است
3. استفاده از اسلش یا عدم استفاده از آن در انتهای URLها
همانند دو مورد قبلی، استفاده از اسلش یا عدم استفاده از آن در انتهای URLها می‌تواند منجر به ایجاد صفحات و محتوای تکراری در سایت شما شود. به طور مثال اگرچه دو آدرس زیر در ظاهر یکسان هستند، اما از نگاه موتورهای جستجو، دو آدرس متفاوت تلقی می‌شوند.
www.example.com/page/
www.example.com/page
بنابراین شما باید در تنظیمات سایت خود یکی از این دو حالت را به عنوان نسخه اصلی در نظر بگیرید و از داشتن همزمان این دو نسخه اجتناب کنید.
4. کپی کردن محتوای سایت‌های دیگر
برداشت غیرمجاز محتوا (Content scraping) که به آن کپی‌برداری محتوا یا سرقت ادبی نیز گفته می‌شود، زمانی رخ می‌دهد که فردی بدون اجازه صاحب سایت یا بدون ذکر منبع، محتوای یک وبسایت را کپی و در سایت دیگری منتشر می‌کند. این عمل می‌تواند شامل استفاده از متن، تصاویر، ویدیو یا هر نوع محتوای دیجیتال دیگری باشد.
با وجود این، موتور جستجوی گوگل در تشخیص محتوای اصلی از محتوای کپی‌شده عملکرد بسیار خوبی دارد و به طور مؤثری جلوی نمایش نتایج نامعتبر در نتایج جستجو را می‌گیرد. گوگل در پستی در سال 2008 (Duplicate content due to scrapers) عنوان کرده که:
You shouldn’t be very concerned about seeing negative effects of your site’s presence on Google if you notice someone scraping your content.
در صورت مشاهده کپی شدن محتوای خود توسط دیگران، نگران تاثیر منفی آن بر رتبه‌بندی وب‌سایت‌تان در موتور جستجوی گوگل نباشید.
5. داشتن نسخه مجزا برای موبایل و دسکتاپ
یکی از روش‌های رایج برای بهینه‌سازی وبسایت برای موبایل، استفاده از URLهای جداگانه برای نسخه‌های موبایل و دسکتاپ است. این روش به شما امکان می‌دهد تا محتوا و طراحی را متناسب با ابعاد صفحه نمایش و قابلیت‌های دستگاه‌های مختلف تنظیم کنید و در نهایت تجربه‌ای کاربری بهتر برای کاربران ارائه دهید.
در این روش، معمولاً از یک دامنه پایه مانند “example.com” برای نسخه دسکتاپ و از یک پیشوند یا زیر دامنه مانند “m.example.com” برای نسخه موبایل استفاده می‌شود.
اگرچه این روش مزایای متعددی دارد، اما اگر به درستی اجرا نشود، استفاده از URLهای جداگانه برای نسخه‌های موبایل و دسکتاپ می‌تواند منجر به مشکلاتی نظیر به‌وجود آمدت محتوای تکراری شود. بنابراین اگر دانش لازم برای اجرای این موضوع را ندارید، از فکر داشتن URLهای جداگانه برای نسخه‌های موبایل و دسکتاپ صرف نظر کنید.
6. داشتن نسخه پرینت از صفحات
بسیاری از سایت‌های خبری و مجله‌ای، نسخه‌ای قابل چاپ از صفحات وب خود ارائه می‌دهند تا کاربران به راحتی بتوانند از محتوای مورد نظر خود پرینت بگیرند. با وجود مفید بودن این قابلیت، نسخه‌های چاپی می‌توانند منجر به مشکل محتوای تکراری شوند.
در ادامه و در بخش “راه‌های رفع مشکل محتوای تکراری” که در ادامه به آن خواهیم پرداخت، به شما خواهیم گفت که چگونه می‌توانید با این مشکل مقابله کنید.
تاثیر محتوای تکراری بر سئو چیست؟
مطابق با آنچه که گوگل در داکیومنت Search Engine Optimization Starter Guide عنوان کرده، داشتن محتوای تکراری در یک وبسایت نقص خط مشی هرزنامه یا violation of spam policies نیست، اما وجود این موضوع در یک وبسایت، می‌تواند تجربه کاربری بدی برای مخاطبان آن سایت ایجاد کند و همچنین ممکن است منابع خرش موتورهای جستجو در URLهایی که ارزش کرال شدن ندارند، هدر رود.
متن این بخش از داکیومنت گوگل را می‌توانید در تصویر زیر مشاهده کنید:
بنابراین چرا محتوای تکراری می‌تواند برای سئو یک سایت مشکل ایجاد کند؟
درست است که گوگل به طور مستقیم برای محتوای تکراری جریمه صادر نمی‌کند (مگر اینکه شواهدی از تقلب و تلاش برای دستکاری نتایج جستجو وجود داشته باشد)، اما این به معنای عدم وجود مشکل برای سئو سایت شما نیست. در واقع محتوای تکراری می‌تواند به دلایل زیر به طور قابل توجهی برای سئوی سایت شما مضر باشد:
1. آسیب در رتبه بندی
گوگل به دنبال ارائه بهترین نتایج به کاربرانش است؛ از این رو صفحاتی که حاوی اطلاعات اصلی و مفید هستند، در اولویت قرار می‌گیرند. بنابراین اگر محتوای شما صرفا کپی برداری از منابع دیگر (حتی از صفحات دیگر وبسایت خودتان) باشد، گوگل آن را ارزش‌مند نمی‌داند. به همین دلیل، سیستم‌های رتبه‌بندی جستجو به‌گونه‌ای طراحی شده‌اند که محتوای اصلی را در نتایج بالاتر نمایش دهند.
بنابراین اگر چندین صفحه با محتوای مشابه داشته باشید، گوگل تلاش می‌کند تا صفحه اصلی را شناسایی و آن را در نتایج جستجو نمایش دهد. اما اگر در این کار یعنی شناسایی صفحه اصلی از بین صفحات مشابه و تکراری ناموفق باشد، ممکن است رتبه‌ی تمام صفحات شما آسیب ببیند و حتی ممکن است اصلاً در نتایج جستجو نمایش داده نشوند.
در نهایت اگر گوگل یکی از این صفحات را به عنوان صفحه اصلی انتخاب و در نتایج جستجو نمایش دهد، ممکن است آن صفحه، صفحه‌‌ی مورد نظر شما نباشد!
2. توزیع غیرضروری بک لینک‌ها
در دنیای وب، بک لینک ها حکم رای اعتماد را دارند. هر بک لینکی که از یک وب سایت معتبر به سایت شما داده می شود، به منزله تایید محتوای شما توسط آن سایت است. گوگل نیز به این بک لینک‌ها توجه کرده و از آنها به عنوان معیاری برای سنجش کیفیت و اعتبار سایت شما استفاده می‌کند.
حال اگر شما از یک محتوای مشخص، نسخه‌های متفاوتی داشته باشید، مشکلی که ممکن است در این میان پیش بیاید این است که سایت‌های دیگر به نسخه‌های مختلف لینک دهند. در این حالت، ارزشی که می‌توانست به یک صفحه خاص تعلق بگیرد، بین صفحات مختلف توزیع می‌شود و در نتیجه قدرت رتبه‌بندی بین صفحات مشابه رقیق می‌شود که اصطلاحا به آن dilute link equity گفته می‌شود.
به‌طور مثال فرض کنید دو صفحه یکسان با URLهای متفاوت زیر دارید:
https://www.example.com/gardening/planting-flowers
https://www.example.com/flowers/planting-flowers
در این حالت اگر 50 بک‌لینک به این دو صفحه داشته باشید، ممکن است 30 بک‌لینک به صفحه اول و 20 بک‌لینک به صفحه دوم داده شده باشد. این موضوع به جای اینکه قدرت یک صفحه را با 50 بک‌لینک افزایش دهد، قدرت را بین دو صفحه تقسیم می‌کند. در نتیجه هیچ کدام از این صفحات به اندازه‌ی یک صفحه واحد که ممکن بود تمام بک لینک‌ها به آن داده شود، اعتبار کسب نخواهند کرد. این امر می‌تواند به طور بالقوه منجر به کاهش رتبه آنها در موتورهای جستجو شود.
3. هدر رفتن بودجه خزش
برای اینکه محتوای شما در نتایج جستجو مانند گوگل نمایش داده شود، موتورهای جستجو باید آن را کرال (فرایند خزیدن) و ایندکس (فهرست‌بندی) کنند (یعنی پیدا کردن و ذخیره کردن که در انگلیسی به آن crawl and index گفته می‌شود).
حال مشکل صفحات تکراری این است که بودجه خزیدن شما را هدر می‌دهند. (بودجه خزیدن به مقدار زمانی و منابعی گفته می‌شود که خزنده‌های موتور جستجو قبل از رفتن به سراغ سایت دیگری، صرف خزیدن سایت شما می‌کنند.) در واقع اگر خزنده‌های گوگل مجبور به صرف زمان برای خزیدن چندین نسخه از یک محتوای تکراری شوند، زمان کمتری برای خزیدن سایر صفحات سایت شما باقی می‌ماند. در نتیجه تعداد صفحاتی که می‌توانند خزیده شوند کاهش یافته و بر سئوی سایت شما اثر منفی می‌گذارد.
راه های پیدا کردن صفحات تکراری در سایت
برای پیدا کردن صفحات و محتواهای تکراری دو راه وجود دارد:
- استفاده از ابزارهایی مانند ahrefs، semrush و screaming frog
- استفاده از گزارش‌های Google Search Console
در ادمه شما را با روش پیدا کردن محتوای تکراری به کمک screaming frog و Google Search Console آشنا خواهیم کرد. دلیل انتخاب این دو ابزار، رایگان بودن و در دسترس بودن آنها است.
1. پیدا کردن صفحات تکراری به کمک screamingfrog
امیدوارم که با screamingfrog آشنا باشید، اما اگر آشنا نیستید لازم است بدانید که این ابزار یک کرالر است (website crawler) که با خزش در صفحات سایت شما، جزئیات کاملی از آنچه که در آن وجود دارد، در اختیار شما قرار خواهد داد. برای استفاده از Screaming Frog، کافی است عبارت “دانلود Screaming Frog” را در مرورگر خود جستجو کنید. پس از دانلود نرم افزار به همراه کرک آن، می‌توانید آن را به راحتی بر روی ویندوز خود نصب کنید.
حال برای پیدا کردن محتوای تکراری با این ابزار، مراحل زیر را دنبال کنید:
1. فعال کردن Near Duplicates در تنظیمات
اسپایدر اسکریمینگ فراگ به طور پیش فرض، صفحات تکراری (به‌طور مثال صفحات یکسانی که با هر دو نسخه WWW و Non-WWW و یا صفحات یکسانی که با نسخه‌های HTTP و HTTPS وجود دارند) که کاملا یکسان هستند را به طور خودکار شناسایی می‌کند. با این حال برای یافتن صفحاتی که محتوای مشابهی دارند (به‌طور مثال برای یافتن صفحاتی که چند پاراگراف مشابه دارند)، باید تنظیمات مربوط آن را فعال کنید.
برای فعال کردن این تنظیمات مسیر زیر را دنبال کنید:
Config > Content > Duplicates
در پنجره باز شده، تیک مربوط به چک باکس Enable Near Duplicates را فعال کنید. حال با فعال شدن گزینه Near Duplicate Similary Threshold می‌توانید میزان دقت یافتن صفحات مشابه را تعیین کنید. به‌طور مثال پیش‌فرض این قسمت 90% است. این بدین معنی است که صفحاتی که حداقل 90درصد به یکدیگر شبیه هستند را شناسایی می‌کند. حال اگر می‌خواهید میزان شباهت کمتر از این مقدار باشد، می‌توانید تنظیمات مد نظر خود را اعمال کنید. (به‌طور مثال می‌توانید این عدد را 60% کنید. در این صورت در صورتی که صفحاتی در حد 60 درصد به یکدیگر شباهت داشته باشند، در گزارش نهایی برای شما مشخص خواهند شد.)
پس از انجام تنظیمات مورد نظر بر روی دکمه Ok کلیک کنید.
2. کرال کردن سایت
در این مرحله لازم است که آدرس سایت خود را در باکس “Enter URL to spider” وارد کنید و بر روی دکمه Start کلیک کنید. در نهایت منتظر بمانید تا فرایند خزش به پایان رسیده و وضعیت Crawl به 100% برسد.
3. مشاهده محتواهای تکراری از منوی Content
حال مطابق تصویر زیر بر روی منوی content کلیک کنید. این منو دارای دو فیلتر مرتبط با محتوای تکراری است: Exact duplicates و Near duplicates
اگر بر روی Exact duplicates کلیک کنید، لیست احتمالی محتواهایی که به‌طور قطع تکراری هستند را مشاهده خواهید کرد. اما اگر می‌خواهید محتواهایی که تقریبا تکراری هستند (Near duplicates) را مشاهده کنید، باید یک مرحله دیگر پیش بروید. برای انجام این کار باید مطابق تصویر زیر بر روی دکمه Start از سربرگ Crawl Analysis کلیک کنید.
پس از انجام crawl analysis، ستون‌های “Near Duplicates” و “Closest Similarity Match” و “No. Near Duplicates” پر می‌شوند. در این ستون‌ها، فقط آدرس صفحاتی که محتوای تکراری است نمایش داده می‌شود و آدرس‌هایی که شباهت کمتری دارند خالی باقی می‌مانند. به‌طور مثال سایت اسکریمینگ فراگ این بررسی را (مطابق تصویر زیر) بر روی سایت خود انجام داده و فقط دو مورد “محتوای تقریبا تکراری” یافت شده است
.
مطابق تحلیلی که سایت اسکرینگ فراگ بر روی سایت BBC انجام داده است، در این سایت معروف خبری “صفحات تقریبا تکراری” (Near Duplicates) زیادی وجود دارد. (مطابق تصویر زیر)
علاوه بر این، در این سایت “صفحات کاملا تکراری” (Exact duplicates) زیادی نیز (مطابق تصویر زیر) وجود دارد.
به‌طور مثال می‌توانید دو آدرس زیر را باز کنید و متوجه تکراری بودن این صفحات شوید:
https://www.bbc.co.uk/aboutthebbc
https://www.bbc.co.uk/aboutthebbc/
4. گزارش گرفتن از صفحات تکراری
در نهایت می‌توانید از مسیر زیر، گزارش کاملی از صفحات تکراری در سایت خود دریافت کنید.
Bulk Export > Content > Exact Duplicates’ and ‘Near Duplicates’ exports
1. پیدا کردن صفحات تکراری به کمک Google Search Console
همانگونه که می‌دانید گوگل سرچ کنسول (GSC) یک ابزار رایگان است که به کمک آن می‌توانید گزارش‌های مهمی از سایت خود را در آن مشاهده کنید؛ گزارش‌هایی از جمله صفحات ایندکس شده و ایندکس نشده، صفحات 404، ریدایرکت‌ها، صفحاتی که کرال شده‌اند اما ایندکس نشده‌اند و…
یکی از مزایای این ابزار این است که علاوه بر نمایش لیست صفحات ایندکس نشده، این ابزار دلایل عدم ایندکس این صفحات را نیز روشن می‌کند. یکی از متداول ترین دلایل در این زمینه که در گزارش احتمالی نیز قابل مشاهده است، وجود محتوای تکراری است. (تصویر زیر)
(آنچه که در ادامه به آن پرداخته می‌شود با فرض این است که شما از قبل سرچ کنسول خود را فعال کرده‌اید. بنابراین اگر تابحال برای انجام این کار اقدام نکرده‌اید، بهتر است مراحل نصب سرچ کنسول را انجام دهید و مدتی منتظر بمانید تا گوگل سایت شما را کرال و گزارش‌های مربوط به آن را در سرچ کنسول ثبت کند.)
برای مشاهده این گزارش در سرچ کنسول ابتدا از سمت چپ صفحه وارد بخش Indexing شده و روی تب Pages کلیک کنید.
در صفحه‌ای که پیش روی شما باز خواهد شد گزارشی از صفحات ایندکس شده و ایندکس نشده سایت خود را مشاهده خواهید کرد. در این گزارش، نمودار سبز رنگ مربوط به صفحات ایندکس شده و نمودار خاکستری مربوط به صفحات ایندکس نشده است.
برای مشاهده علت عدم ایندکس صفحات سایت خود کمی اسکرول کنید تا به بخش “Why pages aren’t indexed” برسید. در ادامه برای دریافت لیستی از صفحات تکراری خود (در صورت داشتن خطا) روی خطای “Duplicate, Google Chose different canonical than user” کلیک کنید.
باز زدن بر روی این خطا، گزارشی از صفحاتی که در طول سه ماه گذشته در این گزارش ثبت شده‌اند، به شما نمایش داده خواهد شد. (دقت داشته باشید که گزارش‌های گوگل صرفا نمونه‌ای 1000تایی از خطاها و اطلاعات موجود را در اختیار شما قرار خواهد داد. به طور مثال اگر شما 18000 خطا داشته باشید، 1000 مورد از آن خطاها را در سرچ کنسول می‌توانید مشاهده کنید)
بعد از رفع مشکلات صفحات تکراری با روش‌های زیر، می‌توانید از گوگل بخواهید که سایت‌تان را دوباره بررسی کند. برای این کار کافی است دکمه “Validate Fix” را در سرچ کنسول بزنید. اگر مشکل حل شده باشد، گزارش مربوط به آن خطا از کنسول حذف خواهد شد.
راه های برطرف کردن مشکل محتوای تکراری
برای انجام این کار ابتدا باید نوع محتوای تکراری را شناسایی کنید؛ همانگونه که تا اینجای کار متوجه شدید، برخی از محتواهای تکراری، “محتوای تکراری کاملا یکسان” و برخی “محتوای تکراری تقریبا مشابه” هستند. در ادامه شما را با روش‌های موجود برای رفع این مشکل آشنا خواهیم کرد.
1. استفاده از تگ کنونیکال (Canonical Tag)
تگ کنونیکال قطعه کدی در بخش <head> هر صفحه است (rel=”canonical”) که به موتورهای جستجو مانند گوگل نشان می‌دهد که کدام نسخه از صفحه باید به عنوان نسخه اصلی در نظر گرفته شده و در نتایج جستجو رتبه‌بندی شود. این کار به موتورهای جستجو کمک می‌کند تا از فهرست کردن نسخه‌های تکراری یا کم‌ارزش صفحات وبسایت شما جلوگیری کنند. مثال:
<link rel=”canonical” href=”https://platocm.com/”>
روش افزودن تگ کنونیکال به صفحات سایت شما به نوع سیستم مدیریت محتوایی که از آن استفاده می‌کنید بستگی دارد. به‌طور مثال برای تنظیم این موضوع در سایت‌های وردپرسی می‌توانید از افزونه رنک مث (Rank math) یا یوست (Yoast) کمک بگیرید.
2. استفاده از ریدایرکت 301 (301 Redirect)
ریدایرکت 301 روشی برای هدایت دائمی کاربران و موتورهای جستجو از یک آدرس اینترنتی (URL) به آدرس دیگر است. این روش برای مواقعی که محتوای تکراری دارید و نیازی به نگهداری از آنها نیست، بسیار کارآمد است. به عنوان مثال، زمانی که از HTTP به HTTPS مهاجرت می‌کنید یا یک صفحه را به آدرس جدیدی منتقل می‌کنید، می‌توانید از ریدایرکت 301 استفاده کنید.
3. بررسی محتواهای تقریبا مشابه و ادغام کردن آنها
همانگونه که در روش‌های پیدا کردن محتوای تکراری به آن اشاره شد، بهترین روش برای پیدا کردن محتواهای تقریبا یکسان یا مشابه، استفاده از ابزار اسکریمینگ فراگ است. پس از آنکه صفحات تقریبا تکراری را روی سایت خود پیدا کردید، آنها را با یکدیگر مقایسه کنید و صفحاتی که با هم مشابهت دارند را دسته بندی و آنها را با یکدیگر ادغام یا به اصطلاح مرج (merge) کنید. پس از انجام این کار، نسخه‌های دیگر را به نسخه اصلی ریدارکت کنید.
4. برطرف کردن اثر نسخه پرینت صفحات
همانگونه که در تیتر علت بوجود آمدن صفحات تکراری گفته شد، یکی از دلایل ایجاد محتوای تکراری در سایت‌ها، داشتن نسخه پرینت و عدم توجه با آن است. برای اینکه با این مشکل مواجه نشوید، باید در فایل robots.txt وبسایت خود، دسترسی موتورهای جستجو به نسخه پرینت صفحات خود را مسدود کنید.
به‌طور مثال ممکن است نسخه پرینت صفحات شما به شکل زیر باشد:
نسخه پرینت: https://example.com/print/blog/content-about-duplicate-cntent/
همانگونه از این آدرس مشخص است، ویژگی اصلی صفحات پرینت این سایت، داشتن /print/ در URL آن‌هاست. بنابراین کافی که آن را مانند تصویر زیر در لیست Disallowهای فایل robots.txt قرار دهید.
جمع بندی
یک وبسایت می‌تواند نسخه‌های مختلفی داشته باشد، از جمله نسخه www نسخه بدون www، نسخه http، نسخه https، نسخه پرینت و…
طبیعتا داشتن یک نسخه بهترین رویکرد در مواجه با این موضوع است. از آنجایی که برای داشتن یک نسخه واحد نیاز به انجام تنظیماتی از سمت سرور سایت خود دارید، بهتر است این موضوع را با مدیر سرور خود در میان بگذارید و از او بخواهید که نسخه واحدی برای صفحات سایت شما ایجاد کند. به‌طور مثال می‌توانید از او بخواهید که نسخه زیر را به عنوان نسخه اصلی در نظر بگیرد و سایر نسخه‌های را به آن ریدایرک کند:
✅ نسخه اصلی (با انتخاب شما)
https://example.com
سایر نسخه‌هایی که باید به نسخه اصلی انتخاب شده، ریدایرکت شود:
https://www.example.com
http://example.com
http://www.example.com
در این مقاله سعی بر آن بود تا شما را به‌طور کامل با محتوای تکراری و روش‌های برطرف کردن آن آشنا کنیم. با اینحال ممکن است برخی از جنبه‌های آن از قلم افتاده باشد. اگر با مطالعه این مقاله همچنان فکر می‌کنید که سوالاتی در این خصوص برای شما باقی است، ما مشاتاقانه منتظر هستیم تا بتوانیم به سوالات شما پاسخ دهیم. برای مطرح کردن سوالات احتمالی خود می‌توانید از بخش ارسال نظر با ما در ارتباط باشید.