Remove Duplicate Content Google Webmasters

April 19, 2009 by ariefew
Filed under: seo
Social Bookmark |  



Website atau blog yang mengalami perubahan content atau update content terus menerus terutama jika menggunakan wordpress, tidak akan lepas dengan internal duplicate content ini. Untuk mengecek website kita apa mengalami internal duplicate content, bisa kita lihat di google webmaster | diagnostics | content analisysis…. misal yang terjadi seperti ini….

Remove Duplicate Content Google Webmasters

Gambar di atas, terdapat 2 duplicate content yang sangat fatal, yaitu di Duplicate meta descriptions dan Duplicate title tags.

Duplicate meta descriptions dan Duplicate title tags biasanyaterjadi akibat ikut ter index nya description atau title tags comment-page yang sama dengan induk nya,  pemakaian category yang beda dalam satu content (multi category), pemakaian description atau title tags yang sama pada tags yang berbeda. misal :

catatanku» Udate PageRank Desember 2008

/website/udate-pagerank-desember-2008/

/website/udate-pagerank-desember-2008/comment-page-1/

/wordpress/udate-pagerank-desember-2008/

***************

/tag/blog/

/tag/checks/

/tag/connections/

/tag/data/

/tag/dns/

/tag/domain/

/tag/download/

Untuk mengatasi ini, banyak berbagai cara yang dapat di lakukan. Salah satu cara adalah dengan cara melakukan pembatasan di robots.txt ( URLs restricted by robots.txt )

Bagi pengguna wordpress, bisa gunakan plugin KB Robots.txt untuk mempermudah setting. Dan untuk pengguna lain dapat melakukan edit file robots.txt. misal, robots.txt untuk ariefew.com :

User-agent: Googlebot

Disallow: /wp-content/

..

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /plugins/

Disallow: /cgi-bin/

Disallow: /?random/

Disallow: /feed/

Disallow: /feed

Disallow: /category/

Disallow: /author/

Disallow: /tag/

Disallow: /tv/

Disallow: /css/

Disallow: /img/

Disallow: /*/comment-page-*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /plugins/

Disallow: /adlogger/

Disallow: /cgi-bin/

Disallow: /?random/

Disallow: /feed/

Disallow: /feed

Disallow: /category/

Disallow: /author/

Disallow: /tag/

Disallow: /tv/

Disallow: /css/

Disallow: /img/

Disallow: /*/comment-page-*

Sitemap: http://ariefew.com/sitemap.xml

User-agent: Googlebot-Image
Allow: /*

Di text di atas ada 3 user-agent, yaitu : Googlebot, all (*), Googlebot-Image. Pada googlebot dan all (*) yang di batasi (disallow) di  /wp-content/, /wp-admin/, /wp-includes/, /wp-, /*/feed/, /trackback/, /plugins/, /cgi-bin/, /?random/, /feed/, /feed, /category/, /author/, /tag/, /tv/, /css/, /img/, /*/comment-page-*.

Perlu diingat pengeditan robots.txt ini akan menyebabkan semua search engine tidak akan mengindex semua content kita yang kita stting disallow seperti di atas. Jadi sebaiknya kita cek dulu dimana letak duplicate yang terjadi pada website kita pada webmaster tools.






Similiar Post



Popular Post



Random Post











Comments

21 Comments on Remove Duplicate Content Google Webmasters

  1. adeesignNo Gravatar on Sun, 19th Apr 2009 11:42 pm
  2. Siiippp bos…..
    cara-cara seting wordpressna ditunggu terus…

    adeesign’s last blog post..Update Page Rank Website Ku Semoga Bukan April Mop !!!

    Reply

  3. SaurooonNo Gravatar on Tue, 21st Apr 2009 5:37 am
  4. Hello,
    Interesting, I`ll quote it on my site later.

    Reply

  5. adyNo Gravatar on Sat, 2nd May 2009 3:48 pm
  6. kalau buat joomla robot.txt nya gimana bos yg bener, kalau bisa sekalian liatin :D

    ady’s last blog post..Latest Nokia Software List 30 April 2009

    Reply

    ariefewNo Gravatar Reply:

    robots.txt bisa langsung di add / edit secara manual lewat cpanel – file manager

    Reply

  7. elizerNo Gravatar on Sun, 3rd May 2009 6:51 pm
  8. mantabbb broo.. di tunggu teruss info2 nya :)

    elizer’s last blog post..Unlimited Internet service provider ??

    Reply

    ariefewNo Gravatar Reply:

    trims…. akan aku usahakan :D

    Reply

  9. Info GaptekNo Gravatar on Tue, 5th May 2009 4:08 pm
  10. Hmm.. baru tau kalo duplicate content ternyata bisa bahaya juga ya..
    ** langsung ngecek webmaster tools ah..

    Thanks infonya!

    Info Gaptek’s last blog post..Antara Swordfish, Video Live Streaming, dan Manny Pacquiao

    Reply

  11. YosepNo Gravatar on Fri, 25th Sep 2009 1:28 am
  12. salam kenal Gan..

    Iye neh baru bikin blog tapi kok pas daftar ke webmaster selalu “URL restricted by robots.txt” di keterangan site map :(

    knapa ya ??

    Reply

    ariefewNo Gravatar Reply:

    coba di robots.txt apa saja yg Disallow / di blok dan cek juga letak sitemap nya ada dimana ?

    Reply

  13. suwiNo Gravatar on Fri, 30th Oct 2009 12:55 am
  14. aku ngalamin hal sama nih sm yosep…kira2 step2nya bisa di jelaskan secara rinci ga ya di post berikutnya…saya tunggu post berikutnya…tp saya sudah dpt gambaran apa yg harus dilakukan , cuma masih perlu step yg lebih jelas aja..thx ya buat postingannya

    Reply

    ariefewNo Gravatar Reply:

    kita buat file robots.txt di root website, isi file dg tulisan di atas…
    Disallow artinya dibatasi/ tdk di index

    Reply

  15. suiNo Gravatar on Tue, 3rd Nov 2009 9:53 pm
  16. mas arief, aku msh blom berhasil nih mengatasi duplicate title tag..bisa chat di YM ga mas, ym aku: suwiw
    thx b4…

    Reply

    ariefewNo Gravatar Reply:

    tag di blok oleh
    Disallow: /tag/
    tapi efek di webmaster tdk langsung terlihat loh………

    Reply

  17. Wayan SuadnyanaNo Gravatar on Wed, 25th Nov 2009 2:47 pm
  18. Saya mengalami masalah Pages with duplicate title tags:
    baliweddingpicture.com/page/6/
    baliweddingpicture.com/page/9/

    Saya sudah membatasi di robot.txt seperti di bawah ini:
    User-agent: *
    Disallow: /archives/
    Disallow: /page/3/
    Disallow: /page/9/
    Disallow: /page/6/
    Allow: /

    tapi duplicate title tags enga hilang2 sampai sekarang. Jika berkenan, saya mohon bantuan untuk menghilangkan duplicate title tag.
    Wayan Suadnyana´s last blog ..Pre Wedding Photo Mike and Titin My ComLuv Profile

    Reply

    ariefewNo Gravatar Reply:

    mungkin tunggu waktu om ……. gak langsung hilang kalau lihat di google…
    langsung akses alamatnya aja kalau nge-cek……
    Disallow: /page/*

    Reply

  19. YandeNo Gravatar on Sun, 13th Dec 2009 1:27 pm
  20. Dear Admin,

    Mohon bantuannya untuk menghilangkan duplicate meta descriptions di blogger. Saya sudah cari di google dan memakai cara seperti rel=”canonical” di header tapi enga mau hilang di google webmaster tools. Sedangkan di blogger saya tidak bisa mengupdate robot.txt seperti di wordpress.

    Pages with duplicate meta descriptions di blogger.

    /2009_01_01_archive.html
    /2009_05_01_archive.html
    /2009_07_01_archive.html
    /

    Pages with missing title tags

    /2009/01/memulai-bisnis-photography.html‎

    Terima kasih atas waktunya.

    Reply

  21. erwin sandersNo Gravatar on Sat, 26th Dec 2009 11:12 pm
  22. buat mas aries. bisa tolong email kesaya ga yah.. saya punya masalah kek ginii
    website kami uda ke index di google. untuk halaman index nya itu
    saya kemarin memakai kmu-shop.com toko elektronik online call us ……

    dan 5 hari yang lalu saya baru mengganti menjadi toko elektronik – kmushop

    nah di 4 hari yang lalu saya sudah ke index.. dengan toko elektronik – kmushop

    tapi di hari ini saya cek dia kembali nge index buat headernya memakai yang dulu …

    tolong di kasi review nya ke email saya lebronhanzz@yahoo.com

    Reply

  23. Anime NewsNo Gravatar on Fri, 29th Jan 2010 1:50 pm
  24. Saya mau nanya mengenai menaruh robot.txt di cpanel itu diabagian mana ya,.. Dilaporan diaGnostik di adsense saya tu bnyak yg diblokir karena robot.txt. Trus web saya jg ngak keindek ma google gra2 itu,…
    Mohon bantuannya, Sebelumnya saya ucapkan terima kasih.

    Reply

    ariefewNo Gravatar Reply:

    fungsi robots.txt adalah memperbolekan atau melarang (allow/disallow) crawl mengakses website anda, jika anda menulis disallow harus diperhatikan juga mana yg akan anda blok crawl masuk.
    di google diagnotic memang akan muncul error akibat penggunaan robots.txt ini, tapi fungsi robots txt ini untuk menghilangkan duplikat konten.
    penempatan robots.txt ada di root url, misal website ini ariefew.com/robots.txt

    Reply

  25. wiyonoNo Gravatar on Wed, 10th Mar 2010 8:49 am
  26. hampir 2 miggu aku mencari para temen blogger untuk membantu, bagaimana caranya menghilangkan robot text, karena di webmaster tool saya blog rumah tiara, ada robot text dan tertulis angka 12, bagaimana caranya supaya bisa menjadi 0..
    mohon bantuannya, silahkan anda posting di pos komentar saya…ok terimakasih

    Reply

    ariefewNo Gravatar Reply:

    di website anda, apa terjadi duplicate content ? atau terjadi blocking oleh robots.txt?
    Kalau terjadi blocking oleh robots.txt, tinggal anda allow aja yg di block tsb

    Reply

Tell me what you're thinking...
and oh, if you want a pic to show with your comment, go get a gravatar!





CommentLuv Enabled

Comment moderation is enabled. Your comment may take some time to appear.


Subscribe to ariefew rss feed

ariefew feed

 

Enter your email address:

Delivered by FeedBurner