Website atau blog yang mengalami perubahan content atau update content terus menerus terutama jika menggunakan wordpress, tidak akan lepas dengan internal duplicate content ini. Untuk mengecek website kita apa mengalami internal duplicate content, bisa kita lihat di google webmaster | diagnostics | content analisysis…. misal yang terjadi seperti ini….
Gambar di atas, terdapat 2 duplicate content yang sangat fatal, yaitu di Duplicate meta descriptions dan Duplicate title tags.
Duplicate meta descriptions dan Duplicate title tags biasanyaterjadi akibat ikut ter index nya description atau title tags comment-page yang sama dengan induk nya, pemakaian category yang beda dalam satu content (multi category), pemakaian description atau title tags yang sama pada tags yang berbeda. misal :
catatanku» Udate PageRank Desember 2008
/website/udate-pagerank-desember-2008/
/website/udate-pagerank-desember-2008/comment-page-1/
/wordpress/udate-pagerank-desember-2008/
***************
/tag/blog/
/tag/checks/
/tag/connections/
/tag/data/
/tag/dns/
/tag/domain/
/tag/download/
Untuk mengatasi ini, banyak berbagai cara yang dapat di lakukan. Salah satu cara adalah dengan cara melakukan pembatasan di robots.txt ( URLs restricted by robots.txt )
Bagi pengguna wordpress, bisa gunakan plugin KB Robots.txt untuk mempermudah setting. Dan untuk pengguna lain dapat melakukan edit file robots.txt. misal, robots.txt untuk ariefew.com :
User-agent: Googlebot
Disallow: /wp-content/
..Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /plugins/
Disallow: /cgi-bin/
Disallow: /?random/
Disallow: /feed/
Disallow: /feed
Disallow: /category/
Disallow: /author/
Disallow: /tag/
Disallow: /tv/
Disallow: /css/
Disallow: /img/
Disallow: /*/comment-page-*
Allow: /wp-content/uploads/
User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /plugins/
Disallow: /adlogger/
Disallow: /cgi-bin/
Disallow: /?random/
Disallow: /feed/
Disallow: /feed
Disallow: /category/
Disallow: /author/
Disallow: /tag/
Disallow: /tv/
Disallow: /css/
Disallow: /img/
Disallow: /*/comment-page-*
Sitemap: http://ariefew.com/sitemap.xml
User-agent: Googlebot-Image
Allow: /*
Di text di atas ada 3 user-agent, yaitu : Googlebot, all (*), Googlebot-Image. Pada googlebot dan all (*) yang di batasi (disallow) di /wp-content/, /wp-admin/, /wp-includes/, /wp-, /*/feed/, /trackback/, /plugins/, /cgi-bin/, /?random/, /feed/, /feed, /category/, /author/, /tag/, /tv/, /css/, /img/, /*/comment-page-*.
Perlu diingat pengeditan robots.txt ini akan menyebabkan semua search engine tidak akan mengindex semua content kita yang kita stting disallow seperti di atas. Jadi sebaiknya kita cek dulu dimana letak duplicate yang terjadi pada website kita pada webmaster tools.
Search Engine Visit :
call duty , flash games , hp modem smartArtikel lain yang berhubungan :
- HeadSpace WordPress Plugin – Page Settings
- Website Analyzer – Submitexpress & Website Grader
- HeadSpace WordPress Plugin – Page Modules
- Pengaruh Duplicate Content Website lain pada Google
- Headspace – all-in-one SEO WordPress Plugin
- Install & Setting TDO Mini Forms (tdomf) WordPress Plugin untuk Iklan Baris
- Coba WordPress 2.8 Beta 1
- 1Web-Service, Social Bookmark & Social Network, Submit Your Site Story
- Cara Mudah Pasang Webmaster di WordPress
- Search Engine Bing lebih Relefan dari Google
- Selamat Idul Fitri 1430 H, Membuat Tulisan Arab di WordPress
- Google Update Pagerank Minor lagikah ?
- Kenapa Visitor dari Search Engine Google Turun ?
- Monitor.us External / Internal Monitoring & Visitors Tracking
- Review Update Pagerank April 2009
- DASAR HYPERTEXT MARKUP LANGUAGE (HTML)
- Memasukkan Script PHP di WordPress
- Install Joomla 1.5.7 di Hosting dan Local PC (XAMPP)
- Pemakaian Text di WordPress.com
- Amazon Autoposter WordPress Plugin, Powerful and Easy to Post Products from Amazon
Artikel Remove Duplicate Content Google Webmasters yang terkait di situs lainnya:
Remove Duplicate Content Google Webmasters | catatanku di website
Website atau blog yang mengalami perubahan content atau update content terus menerus terutama jika menggunakan wordpress, tidak akan lepas dengan internal
http://ariefew.com/seo/remove-duplicate-content-google-webmasters/
Official Google Webmaster Central Blog: Deftly dealing with ...
How can Webmasters proactively address duplicate content issues? ... however, reserve the right to remove ... need to be used to to keep Google from the duplicate content ...
http://googlewebmastercentral.blogspot.com/2006/12/deftly-dealing-with-duplicate-content.html
Official Google Webmaster Central Blog: Duplicate content due to ...
We do, however, reserve the right to remove off-topic ... Question here: if a site does have an unintentional duplicate content issue, is Google still reaching out to webmasters ...
http://googlewebmastercentral.blogspot.com/2008/06/duplicate-content-due-to-scrapers.html
Official Google Webmaster Central Blog: New: Content analysis and ...
We're always striving to help webmasters build ... and has was tagged 12-14-2007 for Duplicate Content or ... Google Webmaster Analytics of Duplicate Meta Descriptions even after being ...
http://googlewebmastercentral.blogspot.com/2007/12/new-content-analysis-and-sitemap.html
Official Google Webmaster Central Blog: Demystifying the ...
I really wish I could just remove the two old ... What about duplicate content in XSLT? I've asked: http://www.google.com/support/forum/p/Webmasters/thread?tid=5c7e45eef252b0a1&hl ...
http://googlewebmastercentral.blogspot.com/2008/09/demystifying-duplicate-content-penalty.html
Siiippp bos…..
cara-cara seting wordpressna ditunggu terus…
adeesign’s last blog post..Update Page Rank Website Ku Semoga Bukan April Mop !!!
[Reply]
Hello,
Interesting, I`ll quote it on my site later.
[Reply]
kalau buat joomla robot.txt nya gimana bos yg bener, kalau bisa sekalian liatin
ady’s last blog post..Latest Nokia Software List 30 April 2009
[Reply]
ariefew Reply:
May 3rd, 2009 at 10:19 am
robots.txt bisa langsung di add / edit secara manual lewat cpanel – file manager
[Reply]
mantabbb broo.. di tunggu teruss info2 nya
elizer’s last blog post..Unlimited Internet service provider ??
[Reply]
ariefew Reply:
May 8th, 2009 at 5:51 am
trims…. akan aku usahakan
[Reply]
Hmm.. baru tau kalo duplicate content ternyata bisa bahaya juga ya..
** langsung ngecek webmaster tools ah..
Thanks infonya!
Info Gaptek’s last blog post..Antara Swordfish, Video Live Streaming, dan Manny Pacquiao
[Reply]
salam kenal Gan..
Iye neh baru bikin blog tapi kok pas daftar ke webmaster selalu “URL restricted by robots.txt” di keterangan site map
knapa ya ??
[Reply]
ariefew Reply:
September 26th, 2009 at 1:11 am
coba di robots.txt apa saja yg Disallow / di blok dan cek juga letak sitemap nya ada dimana ?
[Reply]
aku ngalamin hal sama nih sm yosep…kira2 step2nya bisa di jelaskan secara rinci ga ya di post berikutnya…saya tunggu post berikutnya…tp saya sudah dpt gambaran apa yg harus dilakukan , cuma masih perlu step yg lebih jelas aja..thx ya buat postingannya
[Reply]
ariefew Reply:
October 31st, 2009 at 11:48 am
kita buat file robots.txt di root website, isi file dg tulisan di atas…
Disallow artinya dibatasi/ tdk di index
[Reply]
mas arief, aku msh blom berhasil nih mengatasi duplicate title tag..bisa chat di YM ga mas, ym aku: suwiw
thx b4…
[Reply]
ariefew Reply:
November 4th, 2009 at 8:44 am
tag di blok oleh
Disallow: /tag/
tapi efek di webmaster tdk langsung terlihat loh………
[Reply]
Saya mengalami masalah Pages with duplicate title tags:
baliweddingpicture.com/page/6/
baliweddingpicture.com/page/9/
Saya sudah membatasi di robot.txt seperti di bawah ini:
User-agent: *
Disallow: /archives/
Disallow: /page/3/
Disallow: /page/9/
Disallow: /page/6/
Allow: /
tapi duplicate title tags enga hilang2 sampai sekarang. Jika berkenan, saya mohon bantuan untuk menghilangkan duplicate title tag.
.-= Wayan Suadnyana´s last blog ..Pre Wedding Photo Mike and Titin =-.
[Reply]
ariefew Reply:
November 25th, 2009 at 10:37 pm
mungkin tunggu waktu om ……. gak langsung hilang kalau lihat di google…
langsung akses alamatnya aja kalau nge-cek……
Disallow: /page/*
[Reply]
Dear Admin,
Mohon bantuannya untuk menghilangkan duplicate meta descriptions di blogger. Saya sudah cari di google dan memakai cara seperti rel=”canonical” di header tapi enga mau hilang di google webmaster tools. Sedangkan di blogger saya tidak bisa mengupdate robot.txt seperti di wordpress.
Pages with duplicate meta descriptions di blogger.
/2009_01_01_archive.html
/2009_05_01_archive.html
/2009_07_01_archive.html
/
Pages with missing title tags
/2009/01/memulai-bisnis-photography.html
Terima kasih atas waktunya.
[Reply]
buat mas aries. bisa tolong email kesaya ga yah.. saya punya masalah kek ginii
website kami uda ke index di google. untuk halaman index nya itu
saya kemarin memakai kmu-shop.com toko elektronik online call us ……
dan 5 hari yang lalu saya baru mengganti menjadi toko elektronik – kmushop
nah di 4 hari yang lalu saya sudah ke index.. dengan toko elektronik – kmushop
tapi di hari ini saya cek dia kembali nge index buat headernya memakai yang dulu …
tolong di kasi review nya ke email saya lebronhanzz@yahoo.com
[Reply]
Saya mau nanya mengenai menaruh robot.txt di cpanel itu diabagian mana ya,.. Dilaporan diaGnostik di adsense saya tu bnyak yg diblokir karena robot.txt. Trus web saya jg ngak keindek ma google gra2 itu,…
Mohon bantuannya, Sebelumnya saya ucapkan terima kasih.
[Reply]
ariefew Reply:
February 3rd, 2010 at 2:05 pm
fungsi robots.txt adalah memperbolekan atau melarang (allow/disallow) crawl mengakses website anda, jika anda menulis disallow harus diperhatikan juga mana yg akan anda blok crawl masuk.
di google diagnotic memang akan muncul error akibat penggunaan robots.txt ini, tapi fungsi robots txt ini untuk menghilangkan duplikat konten.
penempatan robots.txt ada di root url, misal website ini ariefew.com/robots.txt
[Reply]
hampir 2 miggu aku mencari para temen blogger untuk membantu, bagaimana caranya menghilangkan robot text, karena di webmaster tool saya blog rumah tiara, ada robot text dan tertulis angka 12, bagaimana caranya supaya bisa menjadi 0..
mohon bantuannya, silahkan anda posting di pos komentar saya…ok terimakasih
[Reply]
ariefew Reply:
March 14th, 2010 at 11:54 am
di website anda, apa terjadi duplicate content ? atau terjadi blocking oleh robots.txt?
Kalau terjadi blocking oleh robots.txt, tinggal anda allow aja yg di block tsb
[Reply]
i was wondering if there are webmasters who manages several thousand websites at a time.~`.
[Reply]
hxxp://webku.com/panduan-migwars/?cid=187
hxxp://blogku.com/search/trik+internet+gratis+axis+mei+2010/?cid=662
supaya ?cid=187 dan seterusnya hilang gimana ya?
gimana cra disallow di robots.txt jadi tinggal content nya aja yang ke index
mohon pencerahabya
[Reply]
Mau nanya mas arief, saya ketemu restricted by robots.txt hari ini di web master, ada 8 bh :
hxxp://www.djumtks.co.cc/wp-content/plugins/wp-cumulus/tagcloud.swf?r=1039547
gimana cara mengatasinya ?,
terimakasih sebelumnya
[Reply]
ariefew Reply:
June 18th, 2010 at 3:47 pm
itu tidak apa2 mas…
sebab di robots txt anda, Disallow: /wp-content/plugins/
[Reply]
dJumTKS Weblog Reply:
June 24th, 2010 at 11:51 am
ok. thanks mas arief
[Reply]
i am a webmaster myself and i always seek information on the net on how to increase website traffice and make a good website,:`
[Reply]