آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در وب سایت قرار داده می شود و به موتورهای جستجو گفته می شود که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است و کدام قسمت های وبب سایت قابل دسترس نمی باشد.

 فایل robots.txt به معنای این نیست که موتورهای جستجو ملزم به رعایت قوانین موجود در آن هستند برخی اوقات موتورهای جستجو از این قوانین پیروی نمی کنند. ولی فایل robots.txt یکی از روشهایی است که میی  توان ورود موتورهای جستجو به سایت را کنترل نمود.

این مسئله برای وب سایت ها بسیار مهم است با توجه به اینکه موتورهای جستجو بارها و بارها به وب سایت مراجعه می کنند به کدام قسمت های سایت دسترسی داشته باشد و به کدام قسمت های سایت دسترسی نداشته باشند و در برخی اوقات اطلاعات حساسی در وب سایت ها وجود دارد که موتورهای جستجو نباید به آنها دسترسی داشته باشند که یکی از روشهای کنترل دسترسی استفاده از فایل robots.txt  است.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهای disallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

  • User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته  باشند  را مشخص نمود.
  • Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها  دسترسی نداشته باشند را مشخص نمود.

برخی نمونه های فایل robots.txt

مسدود کردن دسترسی خزنده های موتورهای جستجو به کل محتویات سایت

User-agent: *

Disallow: /

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک دایرکتوری مشخص

User-agent: Googlebot

Disallow: /no-google/

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک صفحه مشخص

User-agent: Googlebot

Disallow: /no-google/blocked-page.html

پارامترهای نقشه سایت

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

اضافه کردن فایل robots.txt به گوگل وبمستر تولز

جهت اضافه کردن فایل robots.txt به گوگل وبمستر تولز می توانید بصورت زیر عمل نمایید:

ابتدا توسط اکانت خود وارد گوگل وبمستر تولز شوید و از منوی Crawl روی زیر منوی robots.txt Tester کلیک  نمایید.

در ادیتوری که در سمت راست صفحه نمایش داده می شود می توانید محتوای فایل robots.txt را وارد نمایید و سپس دکمه submit را کلیک کنید.

بعد از ارسال شدن محتوای فایل robots.txt به گوگل وب مستر تولز بعد از چند دقیقه محتوای بروزرسانی شده  نمایش داده خواهد شد.

تست آدرس های محدود شده در فایل robots.txt

جهت تست کردن اینکه کدام فایل ها یا دایرکتوری ها در فایل robots.txt محدود شده است می توانید توسط  تست کننده گوگل وبمستر که در شکل زیر نمایش داده شده است استفاده نمایید:

 

تهیه و تنظیم:

مرکز تجارت الکترونیک آرین

  • توسط مدیر سایت
  • 1395/10/14
  • 1032
  • موتورهای جستجو،گوگل وبمستر تولز،URL های ایندکس، سایت مپ،نقشه سایت،گوگل وبمستر،گوگل وبمستر تولز،افزودن سایت،تصدیق گوگل،gmail،گوگل وبمستر،ساخت فایل robots.txt ،اضافه کردن نقشه سایت،افزودن سایت،مانیتور کردن، کسب و کارهای،سرویس رایگان ،جستجوی گوگل،کنسول،آموزش گوگل وبمستر تولز،طراحی سایت،وب سایت،نرم افزار تحت وب،طراحی سایت کاشان،طراحی وبسایت، وبسایت، گروه نرم افزاری آرین، گروه نرم افزاری کاشان، طراحی وبسایت کاشان، کاشان، گروه نرم افزاری، webdesign، website، seo، بهینه سازی و سئو، کسب و کار اینترنتی، اشتغالزایی در منزل، وب سایت های اطلاع رسانی، وبسایت های تجاری، سزمانی، هتل و رستوران، فروشگاهی، طراحی سایت، استراتژی بازاریابی محتوایی، بازاریابی، نرم افزار های تحت وب، وب سایت های سازگار با موبایل، کارت ویزیت آنلاین، ایمیل مارکتینگ، اپلیکیشن‌های تلفن همراه ایمیل، بازاریابی شبکه‌های اجتماعی، محتوای جذاب، افزایش فروش، مدیریت موفق، سایت داینامیک، سایت استاتیک، الگوریتم مرغ مگس خوار، استراتژی دیجیتال مارکتینگ، پیاده سازی و مشاوره کسب وکارهای اینترنتی، بازدید، CRM ( مدیریت روابط با مشتری Customer Relationship Management)، استارت آپ، بهینه سازی کلمات کلیدی، کارآفرینی اینترنتی، مدیریت محتوی های رایج، بازاریابی ویروسی، بازاریابی دهان به دهان، کسب و کار، مزیت تبلیغات اینرنتی، قابلیت های هارمونی 2017، نماد اعتماد الکترونیکی، تجارت آنلاین، لینک طعمه، افزایش رتبه ، رنکینگ وب سایت ، موتورهای جستجو ، الکسا، شبکه‌های اجتماعی، فروشگاه اینترنتی، کسب و کار اینترنتی ، آموزش کسب و کار اینترنتی ، بازاریابی محتوا،تبلیغات اینترنتی ، بازاریابی محتوایی،گروه نرم افزاری آرین،سئو تبلیغات، نتایج گوگل،الگوریتم مرغ مگس خوار، رتبه بندی های گوگل، تاثیر رفتار کاربران، الگوریتم پیچیده و قدرتمند، جستجو،اشتغالزایی، رتبه الکسا، مقاله، Rand Fishkin، Hummingbird، جستجو در گوگل، اشتغالزایی در منزل

پیام ها


ارسال پیام

ارسال پیام

آخرین مطالب

آموزش پنل مدیریت سایت

آموزش پنل مدیریت سایت

بعد از طراحی سایت ، بروز رسانی سایت از درجه اهمیت بالایی برخوردار می‌باشد.

MOT چیست؟ و در طراحی سایت فروشگاهی چه کاربردی دارد؟

MOT چیست؟ و در طراحی سایت فروشگاهی چه کاربردی دارد؟

در بازاریابی اینترنتی یک از مدل های جالب برای آگاهی از نقشه سفر مشتری در خرید اینترنتی، استفاده از مدل MOT Moments Of Truth یا لحظات حقیقی است.

سئو تکنیکال یا بازاریابی محتوایی؟

سئو تکنیکال یا بازاریابی محتوایی؟

معمولا افرادی که اخیرا یادگیری سئو یا بهینه سازی سایت برای موتورهای جستجو را شروع می کنند، با حجم زیادی از مقالات مرتبط با بازاریابی محتوایی رو به رو می شوند.

طراحی تعاملی سایت چیست؟

طراحی تعاملی سایت چیست؟

طراح تعامل (interaction designer) عبارتی است که این روزها در فضای طراحی بسیار به کار برده می شود.

چرا سئو خوب سایت همچنان یک استراتژی موفق است؟

چرا سئو خوب سایت همچنان یک استراتژی موفق است؟

از دیدگاه استراتژیک، سئو خوب سایت مزایایی دارد که موجب می شود نسبت به بسیاری از روش های بازاریابی دیجیتال بهتر باشد و نتایجی بلندمدت ایجاد کند.

تور مجازی چیست؟

تور مجازی چیست؟

به مجموعه ای از تصاویر، فایل های ویدئویی، تصاویر پانوراما (تصویری که از یک نقطه تمام یا بخشی از افق را پوشش می دهد)، فایل های صوتی، اطلاعات متنی و … اتلاق می شود

5 باور غلط در طراحی آرم و نشانه

5 باور غلط در طراحی آرم و نشانه

اگر آرم یا logo شما میتوانست سخن بگوید قرار بود چه چیزی را به بیننده بگوید؟ شاید در هیچ زمینه دیگری به اندازه طراحی آرم اختلاف سلیقه وجود نداشته باشد.

طراحی لوگو ساده برای استارتاپ ها (لوگستر)

طراحی لوگو ساده برای استارتاپ ها (لوگستر)

اگر قصد طراحی لوگو ساده‌ ای دارید و سرعت در طراحی لوگو برایتان اهمیت دارد، لوگستر ابزار مناسبی برای شماست.

معرفی موتور جستجوی Bing

معرفی موتور جستجوی Bing

از زمانیکه شرکت مایکروسافت موتور جستجوی خود را با نام Bing معرفی کرد توجه بسیاری از وبمسترها و فعالان زمینه سئو و بهینه سازی را به خود جلب کرده است.

معرفی سایت به وبمستر بینگ

معرفی سایت به وبمستر بینگ

اگر شما هنوز با وبمستر بینگ آشنا نشده اید مطالعه این مقاله راهنمای مناسبی برای آشنایی با نحوه معرفی سایت به وبمستر و ثبت نقشه سایت در آن خواهد بود

محصولات تصادفی

  • پکیج پورتال اختصاصی
  • پکیج هتل و رستوران ها
  • پکیج آموزشگاهی
  • پکیج سازمانی
  • پکیج تجاری و فروشگاهی
  • پکیج اطلاع رسانی