Tối Ưu thẻ robot.text và thẻ tùy chính roboxt.text cho blogspot

File robots.txt là một dạng text đặc biệt nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm(SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Để các bộ máy tìm kiếm quản lý index nội dung của website bạn.
Cấu trúc của robots.txt của blogspot.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
User-agent: Cho những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
Allow: / Dòng code này cho phép công cụ tìm kiếm index đọc tất cả nội dung
Disallow: /search: Dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những file này
Hướng dẫn tạo và sử dụng file robots.txt cho blogspot
Bước 1: Đăng nhập blogspot
Bước 2: Kéo chuột xuống dưới bên tay trái vào "Cài đặt"
Bước 3: Chọn "Tùy chọn tìm kiếm" trong menu cài đặt
Bước 4: Chọn "Trình thu thập thông tin và lập chỉ mục" bên tay phải của Tùy chọn tìm kiếm [Hình 2]
Bước 5: Chọn "Robots.txt tùy chỉnh" >> "Bật nội dung robots.txt tùy chỉnh"
Bước 6: Copy đoạn code chuẩn này vào khung nhập text và sau đó nhấp "lưu lại"

Tối ưu file robots.txt cho blogspot
Code chuẩn robots.txt cho blogspot
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: http://hoanggia2016.blogspot.com/feeds/posts/default?orderby=UPDATED
Còn tùy vào blog bạn chặn trang hoặc thưc mục các bạn tùy chỉnh nhé.
Gợi ý cho các bạn.
Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /search
Chặn 1 trang lưu trữ
Disallow: *archive.html
Cũng không khó lắm phải không. Quan trọng là biết dùng đúng cách sao cho phù hợp.
Những điều cần tránh trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoảng trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
Cài đặt thẻ mô tả tiêu đề Robot tùy chỉnh?
Bạn có thể áp dụng robot tùy chỉnh bằng cách Đăng nhập (login) vào Blog => Cài đặt (Setting) => Tùy chọn tìm kiếm (Search preferences)
Thẻ tiêu đề robot tùy chỉnh (Custom robots header tags) cho phép bạn kiểm soát một trang cá nhân như thế nào nên được lập chỉ mục và phục vụ cho người sử dụng trong các kết quả tìm kiếm.
Cài đặt thẻ này bằng cách nhấp chuột vào Thẻ tiêu đề robot tùy chỉnh (Custom robots header tags) và chọn Yes sau đó thiết lập như thể hiện trong hình dưới đây:

Các thiết lập ở trên sẽ cho công cụ tìm kiếm lập chỉ mục trang chủ của bạn và tất cả các nội dung của nó, các trang lưu trữ và và các bài đăng của bạn nhưng không được index lưu trữ và cũng không đưa các đề xuất mô tả từ Open Directory Project (noopd).

Thông thường, các công cụ tìm kiếm sử dụng các nguồn tài nguyên như Open Directory Project (noopd) và Directory Yahoo! (noydir) để tìm tiêu đề và mô tả cho nội dung của bạn. Nói chung, bạn sẽ không muốn họ làm điều này bởi vì như vậy thì ngoài phần tiêu đề và mô tả nó sẽ quả qua hết ccs nội dung còn lại. Thẻ noodp ngăn cản họ làm như vậy.
Tùy chỉnh khi đăng bài?
Sau khi cài đặt Custom Robots Tags trong phần bài đăng của bạn sẽ xuất hiện một phần đó là: Thẻ robot tùy chỉnh (Custom Robots Tags)

Bây giờ bạn phải tìm hiểu khi nào bạn nên sử dụng chúng. Sử dụng chúng một cách chính xác có thể giúp bạn xếp hạng tốt hơn và sử dụng chúng sai chắc chắn có thể tác dụng ngược lại.
Các thẻ duy nhất mà bạn nên tập trung vào là noimageindex, noindex và nofollow. Phần còn lại chỉ là không cần thiết cho một blog quy mô nhỏ. Tất cả các thẻ rất hữu ích khi bạn có một blog của công ty hoặc trang web với hàng ngàn trang hoặc thậm chí hàng triệu trang. Họ giúp đỡ để kiểm soát công cụ tìm kiếm có thể thu thập dữ liệu nội dung của bạn.

Khi nào nên sử dụng noimageindex?
Nếu bạn đang chia sẻ hình ảnh cá nhân hoặc gia đình trên bất kỳ bài viết của bạn hoặc trang nàođó. Và bạn không muốn công bố rộng rãi với tất cả mọi người trên thé giới mà muốn giữ chúng giới hạn cho người đọc được bạn chia sẻ. Trong trường hợp như vậy, bạn có thể kiểm tra tùy chọn này và robot sẽ được hướng dẫn không chỉ mục các bức ảnh hoặc hình ảnh được sử dụng trong bài viết.

Khi nào nên sử dụng noindex?
Bất kỳ trang hoặc bài viết mà bạn muốn ẩn với Robot và khách tham quan có thể được gắn thẻ như noindex. Du khách sẽ không thể phát hiện ra trang của bạn thông qua công cụ tìm kiếm và có thể là ngay cả với các Công cụ Tìm kiếm Tuỳ chỉnh của Google.
Bạn thậm chí có thể ngăn lập chỉ mục bài viết hoặc các trang mà bạn nghĩ rằng sẽ ảnh hưởng đến thứ hạng tìm kiếm của bạn. Google Panda Effects tất cả những blog xuất bản nội dung chất lượng thấp. Nếu bạn cảm thấy bất kỳ bài viết của bạn là chỉ dành cho mục đích giải trí và không liên quan tới nội dung chất lượng của bạn thì bạn chỉ có thể chọn tùy chọn noindex từ thẻ tiêu đề.

Khi nào nên sử dụng nofollow?
Nếu bạn đang tạo một thư mục hữu ích của 100 hoặc nhiều liên kết mà tất cả các điểm đến một số trang web bên ngoài và bạn không muốn để vượt qua nước PageRank của bạn với họ sau đó bạn có thể chọn các tag tiêu đề nofollow.
Nếu bạn đang tìm hiểu về Nofollow liên kết sau đó đọc hướng dẫn này

Khi nào nên sử dụng Unavailable_after?
Mặc dù bạn sẽ không cần chúng nhưng nhằm giúp các bạn hiểu biết hơn, namkna sẽ giải thích nó. Hầu hết các blog chuyên quảng bá sản phẩm hay bán hàng thì họ sẽ viết bài theo mùa (thời gian nhất định). Nếu bạn đang quảng bá một sản phẩm mới cung cấp theo tháng và sẽ hết hiệu lực vào tháng kế tiếp sau đó. Bạn phải nói với robot tìm kiếm để lập chỉ mục các bài viết về sản phẩm cũ và bài mới nhất. Điều này sẽ giúp Robot để cho tầm quan trọng của bài viết mới nhất của bạn cao hơn so với các bài viết cũ lặp đi lặp lại.
Chúc các bạn Thành Công!