آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

آموزش ساخت فایل robots.txt و کار با گوگل وبمستر تولز

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در وب سایت قرار داده می شود و به موتورهای جستجو گفته می شود که کدام قسمت های وب سایت برای موتورهای جستجو قابل دسترس است و کدام قسمت های وبب سایت قابل دسترس نمی باشد.

 فایل robots.txt به معنای این نیست که موتورهای جستجو ملزم به رعایت قوانین موجود در آن هستند برخی اوقات موتورهای جستجو از این قوانین پیروی نمی کنند. ولی فایل robots.txt یکی از روشهایی است که میی  توان ورود موتورهای جستجو به سایت را کنترل نمود.

این مسئله برای وب سایت ها بسیار مهم است با توجه به اینکه موتورهای جستجو بارها و بارها به وب سایت مراجعه می کنند به کدام قسمت های سایت دسترسی داشته باشد و به کدام قسمت های سایت دسترسی نداشته باشند و در برخی اوقات اطلاعات حساسی در وب سایت ها وجود دارد که موتورهای جستجو نباید به آنها دسترسی داشته باشند که یکی از روشهای کنترل دسترسی استفاده از فایل robots.txt  است.

ساختار فایل robots.txt

ساختار فایل robots.txt بسیار ساده و در عین حال منعطف پذیر است. فایل robots.txt از یکسری user agents و فایلها و دایرکتورهای disallowed تشکیل شده است. در واقع این فایل بصورت زیر است:

  • User-agent می توان خزنده های موتورهای جستجو که می توانند به سایت دسترسی داشته  باشند  را مشخص نمود.
  • Disallow می توان لیست فایلها یا دایرکتوری هایی را که می خواهیم موتورهای جستجو به آنها  دسترسی نداشته باشند را مشخص نمود.

برخی نمونه های فایل robots.txt

مسدود کردن دسترسی خزنده های موتورهای جستجو به کل محتویات سایت

User-agent: *

Disallow: /

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک دایرکتوری مشخص

User-agent: Googlebot

Disallow: /no-google/

مسدود کردن دسترسی خزنده های موتورهای جستجو به یک صفحه مشخص

User-agent: Googlebot

Disallow: /no-google/blocked-page.html

پارامترهای نقشه سایت

User-agent: *

Disallow:

Sitemap: http://www.example.com/none-standard-location/sitemap.xml

اضافه کردن فایل robots.txt به گوگل وبمستر تولز

جهت اضافه کردن فایل robots.txt به گوگل وبمستر تولز می توانید بصورت زیر عمل نمایید:

ابتدا توسط اکانت خود وارد گوگل وبمستر تولز شوید و از منوی Crawl روی زیر منوی robots.txt Tester کلیک  نمایید.

در ادیتوری که در سمت راست صفحه نمایش داده می شود می توانید محتوای فایل robots.txt را وارد نمایید و سپس دکمه submit را کلیک کنید.

بعد از ارسال شدن محتوای فایل robots.txt به گوگل وب مستر تولز بعد از چند دقیقه محتوای بروزرسانی شده  نمایش داده خواهد شد.

تست آدرس های محدود شده در فایل robots.txt

جهت تست کردن اینکه کدام فایل ها یا دایرکتوری ها در فایل robots.txt محدود شده است می توانید توسط  تست کننده گوگل وبمستر که در شکل زیر نمایش داده شده است استفاده نمایید:

 

تهیه و تنظیم:

مرکز تجارت الکترونیک آرین

  • توسط مدیر سایت
  • 1395/10/14
  • 1010
  • موتورهای جستجو،گوگل وبمستر تولز،URL های ایندکس، سایت مپ،نقشه سایت،گوگل وبمستر،گوگل وبمستر تولز،افزودن سایت،تصدیق گوگل،gmail،گوگل وبمستر،ساخت فایل robots.txt ،اضافه کردن نقشه سایت،افزودن سایت،مانیتور کردن، کسب و کارهای،سرویس رایگان ،جستجوی گوگل،کنسول،آموزش گوگل وبمستر تولز،طراحی سایت،وب سایت،نرم افزار تحت وب،طراحی سایت کاشان،طراحی وبسایت، وبسایت، گروه نرم افزاری آرین، گروه نرم افزاری کاشان، طراحی وبسایت کاشان، کاشان، گروه نرم افزاری، webdesign، website، seo، بهینه سازی و سئو، کسب و کار اینترنتی، اشتغالزایی در منزل، وب سایت های اطلاع رسانی، وبسایت های تجاری، سزمانی، هتل و رستوران، فروشگاهی، طراحی سایت، استراتژی بازاریابی محتوایی، بازاریابی، نرم افزار های تحت وب، وب سایت های سازگار با موبایل، کارت ویزیت آنلاین، ایمیل مارکتینگ، اپلیکیشن‌های تلفن همراه ایمیل، بازاریابی شبکه‌های اجتماعی، محتوای جذاب، افزایش فروش، مدیریت موفق، سایت داینامیک، سایت استاتیک، الگوریتم مرغ مگس خوار، استراتژی دیجیتال مارکتینگ، پیاده سازی و مشاوره کسب وکارهای اینترنتی، بازدید، CRM ( مدیریت روابط با مشتری Customer Relationship Management)، استارت آپ، بهینه سازی کلمات کلیدی، کارآفرینی اینترنتی، مدیریت محتوی های رایج، بازاریابی ویروسی، بازاریابی دهان به دهان، کسب و کار، مزیت تبلیغات اینرنتی، قابلیت های هارمونی 2017، نماد اعتماد الکترونیکی، تجارت آنلاین، لینک طعمه، افزایش رتبه ، رنکینگ وب سایت ، موتورهای جستجو ، الکسا، شبکه‌های اجتماعی، فروشگاه اینترنتی، کسب و کار اینترنتی ، آموزش کسب و کار اینترنتی ، بازاریابی محتوا،تبلیغات اینترنتی ، بازاریابی محتوایی،گروه نرم افزاری آرین،سئو تبلیغات، نتایج گوگل،الگوریتم مرغ مگس خوار، رتبه بندی های گوگل، تاثیر رفتار کاربران، الگوریتم پیچیده و قدرتمند، جستجو،اشتغالزایی، رتبه الکسا، مقاله، Rand Fishkin، Hummingbird، جستجو در گوگل، اشتغالزایی در منزل

پیام ها


ارسال پیام

ارسال پیام

آخرین مطالب

آموزش پنل مدیریت سایت

آموزش پنل مدیریت سایت

بعد از طراحی سایت ، بروز رسانی سایت از درجه اهمیت بالایی برخوردار می‌باشد.

سیستم مدیریت محتوا CMS خوب چیست؟

سیستم مدیریت محتوا CMS خوب چیست؟

Content Management System یا سیستم مدیریت محتوا یک نرم افزار یا مجموعه ای از برنامه های مرتبط به هم است که برای تولید و مدیریت محتوای دیجیتال به کار می رود

طراحی سایت با Bootstrap

طراحی سایت با Bootstrap

استقبال طراحان وبسایت از فریم ورک Bootstrap طی چند سال اخیر موجب شده است که نام آن برای همه ی کسانی که در حوزه وب فعال هستند آشنا باشد.

مخفی کردن کلمات کلیدی در سایت

مخفی کردن کلمات کلیدی در سایت

مخفی کردن کلمات کلیدی در متن یا صفحه یکی از بدترین روش ها در سئو می باشد. یکی از فاکتورهای گوگل برای تعیین کلمه کلیدی هر متن یا صفحه در اینترنت، درصد حضور در متن می باشد.

تعیین جایگاه کلمات کلیدی

تعیین جایگاه کلمات کلیدی

هدف از تولید محتوا در کنار جلب رضایت کاربران، افزایش ورودی سایت از موتورهای جستجو می باشد.

بهینه سازی سایت با ابزاری رایگان

بهینه سازی سایت با ابزاری رایگان

امروز قصد داریم نمونه ای از سایت ّهای تحلیلگر سئو را معرفی کرده و توضیح مختصری از کاربرد و توانایی آن ارائه دهیم. برای درک بهتر عکس هایی از محیط کاری آن نیز قرار دادیم. در پایان این مطلب شما درک بهتری از وضعیت سئو سایت خود خواهید داشت و در نتیجه بازدهی تبلیغات اینترنتی شما افزایش چشمگیری می یابد

افزایش سرعت ایندکس سایت

افزایش سرعت ایندکس سایت

برای موفقیت در سئو سه قدم اصلی وجود دارد، در ابتدا سایت شما باید توسط رباتهای خزنده گوگل بررسی شوند

۱۰ نکته برای ترسیم پرسونای مخاطب هدف

۱۰ نکته برای ترسیم پرسونای مخاطب هدف

بازاریابی محتوایی نیز همانند سایر فعالیت‌های بازاریابی است که بدون استراتژی نباید وارد و غرق آن شد. برای اینکه مطمئن شوید محتوای تولیدی سایت شما نظر مخاطبان هدفتانتان را جلب می کند و آن‌ها را وارد تعامل با شما کرده و همچنین تعداد کافی مشتری بالقوه برایتان ایجاد می‌کند، باید ویژگی و علاقه مندی‌های اصلی آن‌ها را بشناسید.

۶ نکته مهم در طراحی تجربه کاربری سایت

۶ نکته مهم در طراحی تجربه کاربری سایت

تجربه کاربری (UX) از جمله مفاهیمی است که تعریفی گسترده ای دارد و اگر از چندنفر بخواهید آن را برای شما توضیح دهند، هر کدام تعریفی متفاوت ارائه خواهند داد. ولی به طور کلی طراحی تجربه کاربری (UX) به معنای:

طراحی اپلیکیشن موبایل کاربر پسند

طراحی اپلیکیشن موبایل کاربر پسند

تلفن های همراه از سه دهه پیش وارد زندگی مردم شده اند. از همان سه دهه پیش صنعت موبایل همواره در حال پیشرفت و حرکت رو به جلو بوده است.

محصولات تصادفی

  • پکیج پورتال اختصاصی
  • پکیج هتل و رستوران ها
  • پکیج آموزشگاهی
  • پکیج سازمانی
  • پکیج تجاری و فروشگاهی
  • پکیج اطلاع رسانی