JavaScript sudah berjalan di browser Anda di komputer, di tablet, dan di ponsel cerdas Anda
JavaScript bebas digunakan untuk semua orang
Pembelajaran saya
Lacak kemajuan Anda dengan program "Pembelajaran Saya" gratis di W3Schools
Masuk ke akun Anda, dan mulai dapatkan poin
Ini adalah fitur opsional. Anda dapat mempelajari W3Schools tanpa menggunakan My Learning
Referensi JavaScript
W3Schools mengelola referensi JavaScript lengkap, termasuk semua objek HTML dan browser
Referensi berisi contoh untuk semua properti, metode, dan peristiwa, dan terus diperbarui sesuai dengan standar web terbaru
Jika Anda menggunakan layanan hosting situs, seperti Wix atau Blogger, Anda mungkin tidak perlu (atau dapat) mengedit robot Anda. file txt secara langsung. Sebaliknya, penyedia Anda mungkin mengekspos halaman pengaturan pencarian atau beberapa mekanisme lain untuk memberi tahu mesin pencari apakah akan meng-crawl halaman Anda atau tidak
Jika Anda ingin menyembunyikan atau menampilkan salah satu halaman Anda dari mesin telusur, telusuri petunjuk tentang mengubah visibilitas halaman di mesin telusur pada layanan hosting Anda, misalnya, telusuri "wix sembunyikan halaman dari mesin telusur"
Anda dapat mengontrol file mana yang dapat diakses perayap di situs Anda dengan robot. txt
Robot. File txt berada di root situs Anda. Jadi, untuk situs # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /_4, robots. File txt tinggal di # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /5. robot. txt adalah file teks biasa yang mengikuti. Robot. File txt terdiri dari satu atau lebih aturan. Setiap aturan memblokir atau mengizinkan akses untuk semua atau perayap tertentu ke jalur file tertentu di domain atau subdomain tempat robot. File txt dihosting. Kecuali jika Anda menentukan sebaliknya di robots.txt Anda. txt, semua file secara implisit diizinkan untuk dirayapi
Ini adalah robot sederhana. File txt dengan dua aturan
User-agent: Googlebot Disallow: /nogooglebot/ User-agent: * Allow: / Sitemap: //www.example.com/sitemap.xmlInilah robot-robot itu. txt artinya
- Agen pengguna bernama Googlebot tidak diizinkan merayapi URL apa pun yang dimulai dengan # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /6
- Semua agen pengguna lainnya diizinkan untuk merayapi seluruh situs. Ini bisa saja dihilangkan dan hasilnya akan sama;
- File peta situs situs terletak di # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /7
Lihat bagian untuk lebih banyak contoh
Pedoman dasar untuk membuat robot. txt
Membuat robot. txt dan membuatnya dapat diakses secara umum dan berguna melibatkan empat langkah
- .
- .
- .
- .
Buat robot. txt
Anda dapat menggunakan hampir semua editor teks untuk membuat robot. txt. Misalnya, Notepad, TextEdit, vi, dan emacs dapat membuat robots.txt yang valid. file txt. Jangan gunakan pengolah kata; . Pastikan untuk menyimpan file dengan pengkodean UTF-8 jika diminta saat dialog simpan file
Aturan format dan lokasi
- File harus diberi nama robots. txt
- Situs Anda hanya dapat memiliki satu robot. txt
- Robot. File .txt harus ditempatkan di root host situs web yang menerapkannya. Misalnya, untuk mengontrol perayapan pada semua URL di bawah # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /8, robots. File txt harus berada di # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /9. Itu tidak dapat ditempatkan di subdirektori (misalnya, di Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml0). Jika Anda tidak yakin tentang cara mengakses root situs web, atau memerlukan izin untuk melakukannya, hubungi penyedia layanan hosting web Anda. Jika Anda tidak dapat mengakses akar situs web Anda, gunakan metode pemblokiran alternatif seperti tag Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml1
- Robot. File txt dapat diposting di subdomain (misalnya, Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml2) atau di port non-standar (misalnya, Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml3)
- Robot. File .txt hanya berlaku untuk jalur di dalam protokol, host, dan port tempatnya diposkan. Artinya, aturan di Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml_4 hanya berlaku untuk file di Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml5, bukan untuk subdomain seperti Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml6, atau protokol alternatif, seperti Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml7
- Robot. File .txt harus berupa file teks berenkode UTF-8 (termasuk ASCII). Google dapat mengabaikan karakter yang bukan bagian dari rentang UTF-8, berpotensi merender robot. Aturan txt tidak valid
Cara menulis robot. aturan txt
Aturan adalah instruksi untuk perayap tentang bagian mana dari situs Anda yang dapat dirayapi. Ikuti panduan ini saat menambahkan aturan ke robots.txt Anda. txt
- Robot. File txt terdiri dari satu atau lebih grup (kumpulan aturan)
- Setiap grup terdiri dari beberapa aturan (juga dikenal sebagai arahan), satu aturan per baris. Setiap kelompok dimulai dengan Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml_8 baris yang menentukan target kelompok
- Sebuah kelompok memberikan informasi berikut
- Kepada siapa grup berlaku (agen pengguna)
- Direktori atau file mana yang dapat diakses agen
- Direktori atau file mana yang tidak dapat diakses oleh agen
- Perayap memproses grup dari atas ke bawah. Agen pengguna hanya dapat cocok dengan satu set aturan, yaitu grup pertama dan paling spesifik yang cocok dengan agen pengguna tertentu. Jika ada beberapa grup untuk agen pengguna yang sama, grup tersebut akan digabungkan menjadi satu grup sebelum diproses
- Asumsi default adalah agen pengguna dapat merayapi halaman atau direktori mana pun yang tidak diblokir oleh aturan Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml9
- Aturan peka huruf besar/kecil. Misalnya, User-agent: * Disallow: /0 berlaku untuk User-agent: * Disallow: /1, tetapi tidak User-agent: * Disallow: /2
- Karakter User-agent: * Disallow: /_3 menandai awal dari sebuah komentar. Komentar diabaikan selama pemrosesan
Perayap Google mendukung aturan berikut di robots.txt. file txt
- User-agent: * Disallow: /4 [Diperlukan, satu atau lebih per grup] Aturan menentukan nama klien otomatis yang dikenal sebagai perayap mesin telusur tempat aturan diterapkan. Ini adalah baris pertama untuk grup aturan apa pun. Nama agen pengguna Google tercantum dalam daftar agen pengguna Google. Menggunakan asterisk (User-agent: * Disallow: /_5) cocok dengan semua perayap kecuali berbagai perayap AdsBot, yang harus diberi nama secara eksplisit. Misalnya. # Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /
- User-agent: * Disallow: /6 [Setidaknya satu atau lebih Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml9 atau User-agent: * Disallow: /8 entri per aturan] Direktori atau halaman, relatif terhadap domain akar, yang Anda tidak ingin dirayapi oleh agen pengguna. Jika aturan merujuk ke sebuah halaman, itu harus berupa nama halaman lengkap seperti yang ditampilkan di browser. Itu harus dimulai dengan karakter User-agent: * Disallow: /_9 dan jika merujuk ke direktori, itu harus diakhiri dengan tanda User-agent: * Disallow: /9
- User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/1 [Setidaknya satu atau lebih Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml9 atau User-agent: * Disallow: /8 entri per aturan] Direktori atau halaman, relatif terhadap domain root, yang dapat dirayapi oleh agen pengguna yang baru saja disebutkan. Ini digunakan untuk mengganti aturan Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml_9 untuk mengizinkan perayapan subdirektori atau halaman dalam direktori yang dilarang. Untuk satu halaman, tentukan nama halaman lengkap seperti yang ditampilkan di browser. Itu harus dimulai dengan karakter User-agent: * Disallow: /_9 dan jika merujuk ke direktori, itu harus diakhiri dengan tanda User-agent: * Disallow: /9
- User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/7 [Opsional, nol atau lebih per file] Lokasi peta situs untuk situs web ini. URL peta situs harus berupa URL yang sepenuhnya memenuhi syarat; . alternatif non-www. Peta Situs adalah cara yang baik untuk menunjukkan konten mana yang harus dirayapi oleh Google, bukan konten mana yang dapat atau tidak dapat dirayapi. Pelajari lebih lanjut tentang peta situs. Contoh. Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml
Semua aturan, kecuali User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/8, mendukung wildcard User-agent: * Disallow: /5 untuk awalan, akhiran, atau seluruh string jalur
Baris yang tidak cocok dengan salah satu aturan ini akan diabaikan
Baca halaman kami tentang interpretasi Google tentang robot. spesifikasi txt untuk deskripsi lengkap dari setiap aturan
Unggah robot. txt
Setelah Anda menyimpan robots. txt ke komputer Anda, Anda siap membuatnya tersedia untuk perayap mesin telusur. Tidak ada satu alat pun yang dapat membantu Anda dalam hal ini, karena cara Anda mengunggah robots. file txt ke situs Anda tergantung pada arsitektur situs dan server Anda. Hubungi perusahaan hosting Anda atau cari dokumentasi perusahaan hosting Anda;
Setelah Anda mengunggah robots. txt, uji apakah dapat diakses publik dan apakah Google dapat menguraikannya
Robot uji. markup txt
Untuk menguji apakah robots.txt yang baru Anda upload. File txt dapat diakses publik, buka jendela penjelajahan pribadi (atau yang setara) di browser Anda dan arahkan ke lokasi robot. txt. Misalnya, Sitemap: //example.com/sitemap.xml Sitemap: //www.example.com/sitemap.xml_4. Jika Anda melihat konten robots. txt, Anda siap menguji markup
Google menawarkan dua opsi untuk menguji robot. markup txt
- Robot. Penguji txt di Search Console. Anda hanya dapat menggunakan alat ini untuk robot. file txt yang sudah dapat diakses di situs Anda
- Jika Anda seorang pengembang, periksa dan buat robot sumber terbuka Google. txt, yang juga digunakan di Google Penelusuran. Anda dapat menggunakan alat ini untuk menguji robot. file txt secara lokal di komputer Anda
Kirim robot. txt ke Google
Setelah Anda mengunggah dan menguji robots. txt, perayap Google akan secara otomatis menemukan dan mulai menggunakan robots.txt Anda. txt. Anda tidak perlu melakukan apapun. Jika Anda memperbarui robots. txt dan Anda perlu menyegarkan salinan tembolok Google sesegera mungkin, pelajari cara mengirimkan file robots.txt yang diperbarui. txt
Robot yang berguna. aturan txt
Berikut adalah beberapa robot umum yang berguna. aturan txt
Aturan yang bergunaLarang perayapan seluruh situs webPerlu diingat bahwa dalam beberapa situasi, URL dari situs web mungkin masih diindeks, meskipun belum dirayapi
Catatan. Ini tidak cocok dengan berbagai perayap AdsBot, yang harus diberi nama secara eksplisit. User-agent: * Disallow: /Larang perayapan direktori dan isinyaTambahkan garis miring ke nama direktori untuk melarang perayapan seluruh direktori
Peringatan. Ingat, jangan gunakan robot. txt untuk memblokir akses ke konten pribadi; . URL yang tidak diizinkan oleh robots. File robots.txt mungkin masih dapat diindeks tanpa dirayapi, dan file robots.txt mungkin masih dapat diindeks tanpa dirayapi. File txt dapat dilihat oleh siapa saja, berpotensi mengungkap lokasi konten pribadi Anda. User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/Izinkan akses ke satu perayapHanya User-agent: Googlebot-news Allow: / User-agent: * Disallow: /_1 yang dapat merayapi seluruh situs
User-agent: Googlebot-news Allow: / User-agent: * Disallow: /Izinkan akses ke semua kecuali satu perayapUser-agent: Googlebot-news Allow: / User-agent: * Disallow: /2 tidak boleh merayapi situs, semua bot lain boleh
User-agent: Unnecessarybot Disallow: / User-agent: * Allow: /Larang perayapan satu laman web
Misalnya, larang halaman User-agent: Googlebot-news Allow: / User-agent: * Disallow: /_3 yang terletak di User-agent: Googlebot-news Allow: / User-agent: * Disallow: /4, dan User-agent: Googlebot-news Allow: / User-agent: * Disallow: /5 di direktori User-agent: Googlebot-news Allow: / User-agent: * Disallow: /6
User-agent: * Disallow: /useless_file.html Disallow: /junk/other_useless_file.htmlLarang perayapan seluruh situs kecuali subdirektori
Crawler hanya dapat mengakses User-agent: Googlebot-news Allow: / User-agent: * Disallow: /_7 subdirektori
User-agent: * Disallow: / Allow: /public/Blokir gambar tertentu dari Gambar Google
Misalnya, larang gambar User-agent: Googlebot-news Allow: / User-agent: * Disallow: /_8
User-agent: Googlebot-Image Disallow: /images/dogs.jpgBlokir semua gambar di situs Anda dari Gambar Google
Google tidak dapat mengindeks gambar dan video tanpa merayapinya
# Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /0Larang perayapan file dari jenis file tertentu
Misalnya, larang crawling semua User-agent: Googlebot-news Allow: / User-agent: * Disallow: /9 file
# Example 1: Block only Googlebot User-agent: Googlebot Disallow: / # Example 2: Block Googlebot and Adsbot User-agent: Googlebot User-agent: AdsBot-Google Disallow: / # Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be named explicitly) User-agent: * Disallow: /_1Larang perayapan seluruh situs, tetapi izinkan User-agent: Unnecessarybot Disallow: / User-agent: * Allow: /0
Penerapan ini menyembunyikan laman Anda dari hasil penelusuran, tetapi perayap web User-agent: Unnecessarybot Disallow: / User-agent: * Allow: /0 masih dapat menganalisisnya untuk memutuskan iklan apa yang akan ditampilkan kepada pengunjung di situs Anda