Hướng dẫn tối ưu hóa tệp robots.txt WordPress

Tối ưu hóa tệp robots.txt của WordPress để cải thiện SEO là mong muốn của mọi người dùng WordPress. Tệp robots.txt cho các công cụ tìm kiếm biết cách thu thập dữ liệu trang web của bạn, điều này đã làm cho nó trở thành một công cụ SEO cực kỳ hữu ích. Trong bài viết này, chúng tôi sẽ chỉ cho bạn cách tạo tệp robots.txt WordPress hoàn hảo về SEO.

File robots.txt là gì?

Robots.txt là một tệp văn bản được tạo để cho rô bốt của công cụ tìm kiếm biết cách thu thập dữ liệu và lập chỉ mục các trang web của chúng, tệp này thường được lưu trữ trong thư mục gốc còn được gọi là thư mục chính của trang web của bạn, định dạng cơ bản cho rô bốt. Tệp .txt như sau:

User-agent: [user-agent name]Disallow: [URL string not to be crawled]  User-agent: [user-agent name]Allow: [URL string to be crawled]  Sitemap: [URL of your XML Sitemap]

Nếu bạn không cho phép một URL, trình thu thập dữ liệu của công cụ tìm kiếm sẽ tự nhận ra rằng chúng được phép thu thập dữ liệu đó.

Đây là một ví dụ về tệp robots.txt tương tự như sau:

User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml

Trong ví dụ về robots.txt ở trên, quản trị viên đã cho phép các công cụ tìm kiếm thu thập dữ liệu và lập chỉ mục các tệp trong thư mục tải lên WordPress trên trang web. Ngoài ra, quản trị viên đã không cho phép các bot tìm kiếm thu thập dữ liệu và lập chỉ mục các plugin và thư mục quản trị của WordPress.

Cuối cùng, chúng tôi đã cung cấp URL cho sơ đồ trang web XML của mình.

Thiết Kế Website - Thiết kế web chuẩn SEO không chỉ đẹp mắt mà còn mang về nhiều lượt truy cập, nhiều đơn hàng. Và điều quan trọng nhất hiện nay là khi thiết kế website bắt buộc phải chuẩn SEO với Google. Giúp website thân thiện với Google và nhanh lên TOP hơn so với 1 website thông thường. Với đội ngũ thiết kế web luôn chăm chút từ nội dung, chức năng đến cả cách thức vận hành.

Bạn có cần tệp Robots.txt cho trang web WordPress của mình không?

Nếu bạn không có tệp robots.txt, các công cụ tìm kiếm sẽ tiếp tục thu thập dữ liệu và lập chỉ mục trang web của bạn. Tuy nhiên, bạn sẽ không thể cho các công cụ tìm kiếm biết những trang hoặc thư mục nào chúng không nên thu thập dữ liệu.

Điều này sẽ không có nhiều tác động khi bạn bắt đầu viết blog và chưa có nhiều nội dung. Tuy nhiên, khi trang web của bạn phát triển và chứa nhiều nội dung, bạn nên có nhiều quyền kiểm soát hơn đối với cách trang web của bạn được thu thập dữ liệu và lập chỉ mục. Đây là lý do tại sao chúng tôi phải có hạn ngạch thu thập dữ liệu cho rô-bốt tìm kiếm trên mỗi trang web.

Liệu bot có thu thập dữ liệu các trang nhất định trong phiên thu thập dữ liệu hay không. Sau đó, nếu quá trình thu thập thông tin tất cả các trang trên trang web của bạn chưa hoàn tất, bot sẽ quay lại và tiếp tục thu thập thông tin trong phiên tiếp theo. Điều này có thể làm chậm tốc độ lập chỉ mục trang web của bạn.

Bạn có thể khắc phục sự cố này bằng cách không cho phép các bot tìm kiếm cố gắng thu thập dữ liệu các trang không cần thiết, chẳng hạn như trang quản trị WordPress, tệp plugin và thư mục chủ đề. Bằng cách không cho phép các trang không cần thiết, bạn sẽ lưu hạn ngạch thu thập thông tin của mình. Điều này giúp các công cụ tìm kiếm thu thập dữ liệu nhiều trang hơn trên trang web của bạn và lập chỉ mục chúng nhanh nhất có thể.

File Robots.txt lý tưởng trông như thế nào?

Nhiều blog phổ biến sử dụng một tệp robots.txt rất đơn giản, nội dung của chúng có thể thay đổi tùy thuộc vào nhu cầu của từng trang web cụ thể. Mặc dù đây không phải là cách an toàn nhất để ẩn nội dung khỏi người dùng, nhưng nó sẽ giúp ngăn nội dung đó xuất hiện trong kết quả tìm kiếm.

User-agent: *Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

Tệp robots.txt này cho phép tất cả các bot lập chỉ mục tất cả nội dung và cung cấp cho chúng các liên kết đến sơ đồ trang web XML của trang web. Đối với các trang web WordPress, bạn nên biết các quy tắc sau trong tệp robots.txt:

User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

Điều này yêu cầu trình thu thập tìm kiếm lập chỉ mục tất cả các hình ảnh và tệp WordPress, nó không cho phép trình thu thập tìm kiếm lập chỉ mục khu vực quản trị WordPress, readme và các liên kết liên kết bị ẩn.

Bằng cách thêm sơ đồ trang web vào tệp robots.txt của bạn, bạn sẽ giúp rô bốt của Google tìm thấy tất cả các trang trên trang web của bạn dễ dàng hơn.

Vì vậy, bây giờ bạn đã biết tệp robots.txt lý tưởng trông như thế nào, hãy xem cách bạn có thể tạo tệp robots.txt trong WordPress.

Cách tạo file Robots.txt WordPress?

Có hai cách để tạo tệp robots.txt trong WordPress và bạn có thể chọn bất kỳ phương pháp nào phù hợp nhất với mình. 2 cách này bao gồm sử dụng plugin AOISEO và ứng dụng khách FTP.

Chỉnh sửa file Robots.txt bằng SEO tất cả trong một (All in One SEO).

All in One SEO còn được gọi là AIOSEO là một trong những plugin SEO tốt nhất cho WordPress trên thị trường với hơn 2 triệu trang web được sử dụng, nó rất dễ sử dụng và đi kèm với trình tạo tệp robot .txt.

Nếu bạn chưa biết cách cài đặt plugin AIOSEO, bạn có thể xem hướng dẫn từng bước của chúng tôi về cách cài đặt plugin WordPress.

Lưu ý: Hiện có phiên bản AIOSEO miễn phí và có tính năng này.

Sau khi cài đặt và kích hoạt plugin, bạn có thể sử dụng nó để tạo và chỉnh sửa tệp robots.txt trực tiếp từ khu vực quản trị WordPress của mình.

Chỉ cần truy cập SEO Tất cả trong một » Công cụ để chỉnh sửa tệp robots.txt của bạn.

Trước tiên, bạn cần bật tùy chọn chỉnh sửa bằng cách nhấp vào nút chuyển đổi màu xanh lam “Bật Robots.txt tùy chỉnh”. Khi bật nút này, bạn có thể tạo tệp robots.txt tùy chỉnh trong WordPress.

SEO Tất cả trong Một sẽ hiển thị tệp robots.txt hiện tại của bạn trong phần “Tổng quan về Robots.txt” ở cuối màn hình.

Bản phát hành này sẽ hiển thị các quy tắc mặc định đã được thêm bởi WordPress.

Các quy tắc mặc định này yêu cầu các công cụ tìm kiếm không thu thập dữ liệu các tệp WordPress cốt lõi của bạn, điều này cho phép các bot lập chỉ mục tất cả nội dung và cung cấp cho chúng các liên kết tới sơ đồ trang XML của trang web của bạn.

Giờ đây, bạn có thể thêm các quy tắc tùy chỉnh của riêng mình để cải thiện tệp robots.txt cho SEO. Để thêm quy tắc, hãy nhập tác nhân người dùng vào trường “Tác nhân người dùng”, sử dụng * sẽ áp dụng quy tắc cho tất cả tác nhân người dùng. Sau đó, bạn có thể chọn “Cho phép” hoặc “Từ chối” công cụ tìm kiếm sẽ thu thập thông tin, sau đó nhập tên tệp hoặc đường dẫn thư mục vào trường “Đường dẫn thư mục”.

Quy tắc sẽ tự động được áp dụng cho tệp robots.txt của bạn, để thêm một quy tắc khác, hãy nhấp vào nút ‘Thêm quy tắc’. Chúng tôi khuyên bạn nên thêm các quy tắc cho đến khi bạn tạo được định dạng robots.txt lý tưởng mà chúng tôi đã chia sẻ ở trên.

Quy tắc tùy chỉnh của bạn sẽ xuất hiện như sau:

Sau khi hoàn tất, hãy nhớ nhấp vào nút “Lưu thay đổi” để lưu các thay đổi của bạn.

Chỉnh sửa tệp Robots.txt theo cách thủ công bằng FTP

Đối với phương pháp này, bạn sẽ cần sử dụng ứng dụng khách FTP để chỉnh sửa tệp robots.txt.

Chỉ cần đăng nhập vào tài khoản lưu trữ WordPress của bạn bằng ứng dụng khách FTP. Sau khi vào bên trong, bạn sẽ có thể xem tệp robots.txt ở thư mục gốc của trang web của mình.

Nếu bạn không nhìn thấy tệp, có thể bạn không có tệp robots.txt, trong trường hợp đó, bạn luôn có thể tiếp tục và tạo một tệp mới.

Robots.txt là một tệp văn bản thuần túy, có nghĩa là bạn có thể tải nó xuống máy tính của mình và chỉnh sửa bằng bất kỳ trình soạn thảo văn bản thuần túy nào như Notepad hoặc TextEdit. Sau khi lưu các thay đổi, bạn có thể tải lại chúng vào thư mục gốc của trang web của mình.

Làm thế nào để kiểm tra tệp robots.txt của bạn?

Sau khi tạo tệp robots.txt, bạn cần kiểm tra nó bằng công cụ xác minh robots.txt, có nhiều công cụ kiểm tra robots.txt nhưng chúng tôi khuyên bạn nên sử dụng các công cụ bên trong Google Search Console.

Trước tiên, bạn cần liên kết trang web của mình với Google Search Console, nếu bạn chưa liên kết, hãy xem hướng dẫn của chúng tôi về cách thêm trang web WordPress của bạn vào Google Search Console. Sau đó, bạn có thể sử dụng công cụ kiểm tra robot của Google Search Console.

Chỉ cần chọn thuộc tính của bạn từ danh sách thả xuống, công cụ sẽ tự động tìm nạp tệp robots.txt của trang web của bạn và báo cáo lỗi cũng như cảnh báo nếu có.

Mục tiêu của việc tối ưu hóa tệp robots.txt của bạn là để ngăn các công cụ tìm kiếm thu thập dữ liệu các trang hiện không công khai. Ví dụ: các trang trong thư mục wp-plugins của bạn hoặc các trang trong thư mục quản trị WordPress của bạn.

Một sai lầm phổ biến của các chuyên gia SEO là việc chặn các danh mục, thẻ và trang lưu trữ của WordPress sẽ cải thiện tốc độ thu thập thông tin và dẫn đến việc lập chỉ mục nhanh hơn và xếp hạng cao hơn. Nhưng đây không phải là phương pháp phù hợp và nó đi ngược lại các nguyên tắc của Google dành cho quản trị viên web. Bạn phải tuân theo định dạng robots.txt ở trên để tạo tệp robots.txt an toàn cho trang web của mình.

Kết luận

IMO hy vọng bài viết này đã giúp ích cho bạn nhiều hơn trong việc tối ưu file robots.txt WordPress để cải thiện SEO website của bạn. Mọi thắc mắc vui lòng comment bên fuowis trong bài viết để IMO hỗ trợ bạn nhé.

Link bài viết Hướng dẫn tối ưu hóa tệp robots.txt WordPress: https://imo.com.vn/huong-dan-toi-uu-hoa-tep-robots-txt-wordpress/