Remove Duplicate Content Google Webmasters

April 19, 2009 by ariefew
Filed under: seo
Social Bookmark |

Website atau blog yang mengalami perubahan content atau update content terus menerus terutama jika menggunakan wordpress, tidak akan lepas dengan internal duplicate content ini. Untuk mengecek website kita apa mengalami internal duplicate content, bisa kita lihat di google webmaster | diagnostics | content analisysis…. misal yang terjadi seperti ini….

Gambar di atas, terdapat 2 duplicate content yang sangat fatal, yaitu di Duplicate meta descriptions dan Duplicate title tags.

Duplicate meta descriptions dan Duplicate title tags biasanyaterjadi akibat ikut ter index nya description atau title tags comment-page yang sama dengan induk nya, pemakaian category yang beda dalam satu content (multi category), pemakaian description atau title tags yang sama pada tags yang berbeda. misal :

catatanku» Udate PageRank Desember 2008

/website/udate-pagerank-desember-2008/

/website/udate-pagerank-desember-2008/comment-page-1/

/wordpress/udate-pagerank-desember-2008/

***************

/tag/blog/

/tag/checks/

/tag/connections/

/tag/data/

/tag/dns/

/tag/domain/

/tag/download/

Untuk mengatasi ini, banyak berbagai cara yang dapat di lakukan. Salah satu cara adalah dengan cara melakukan pembatasan di robots.txt ( URLs restricted by robots.txt )

Bagi pengguna wordpress, bisa gunakan plugin KB Robots.txt untuk mempermudah setting. Dan untuk pengguna lain dapat melakukan edit file robots.txt. misal, robots.txt untuk ariefew.com :

User-agent: Googlebot

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /plugins/

Disallow: /cgi-bin/

Disallow: /?random/

Disallow: /feed/

Disallow: /feed

Disallow: /category/

Disallow: /author/

Disallow: /tag/

Disallow: /tv/

Disallow: /css/

Disallow: /img/

Disallow: /*/comment-page-*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /plugins/

Disallow: /adlogger/

Disallow: /cgi-bin/

Disallow: /?random/

Disallow: /feed/

Disallow: /feed

Disallow: /category/

Disallow: /author/

Disallow: /tag/

Disallow: /tv/

Disallow: /css/

Disallow: /img/

Disallow: /*/comment-page-*

Sitemap: http://ariefew.com/sitemap.xml

User-agent: Googlebot-Image
Allow: /*

Di text di atas ada 3 user-agent, yaitu : Googlebot, all (*), Googlebot-Image. Pada googlebot dan all (*) yang di batasi (disallow) di /wp-content/, /wp-admin/, /wp-includes/, /wp-, /*/feed/, /trackback/, /plugins/, /cgi-bin/, /?random/, /feed/, /feed, /category/, /author/, /tag/, /tv/, /css/, /img/, /*/comment-page-*.

Perlu diingat pengeditan robots.txt ini akan menyebabkan semua search engine tidak akan mengindex semua content kita yang kita stting disallow seperti di atas. Jadi sebaiknya kita cek dulu dimana letak duplicate yang terjadi pada website kita pada webmaster tools.

Tags: blog, cek, check, connect, connections, dns, domain, download, downloader, duplicate title, google, http, meta descriptions, pagerank, plugin, plugins, random, restrictions, robots, search, seo, setting, tag data, text, title tags, tools, update, website, wordpress

Similiar Post

Random Post

Save Children

Ad by AdsMedia.cc

All about FaceBook

Comments

21 Comments on Remove Duplicate Content Google Webmasters

adeesign

on Sun, 19th Apr 2009 11:42 pm

Siiippp bos…..
cara-cara seting wordpressna ditunggu terus…

adeesign’s last blog post..Update Page Rank Website Ku Semoga Bukan April Mop !!!

Saurooon

on Tue, 21st Apr 2009 5:37 am

Hello,
Interesting, I`ll quote it on my site later.

ady

on Sat, 2nd May 2009 3:48 pm

kalau buat joomla robot.txt nya gimana bos yg bener, kalau bisa sekalian liatin

ady’s last blog post..Latest Nokia Software List 30 April 2009

ariefew Reply:
May 3rd, 2009 at 10:19 am

robots.txt bisa langsung di add / edit secara manual lewat cpanel – file manager

elizer

on Sun, 3rd May 2009 6:51 pm

mantabbb broo.. di tunggu teruss info2 nya

elizer’s last blog post..Unlimited Internet service provider ??

ariefew Reply:
May 8th, 2009 at 5:51 am

trims…. akan aku usahakan

Info Gaptek

on Tue, 5th May 2009 4:08 pm

Hmm.. baru tau kalo duplicate content ternyata bisa bahaya juga ya..
** langsung ngecek webmaster tools ah..

Thanks infonya!

Info Gaptek’s last blog post..Antara Swordfish, Video Live Streaming, dan Manny Pacquiao

Yosep

on Fri, 25th Sep 2009 1:28 am

salam kenal Gan..

Iye neh baru bikin blog tapi kok pas daftar ke webmaster selalu “URL restricted by robots.txt” di keterangan site map

knapa ya ??

ariefew Reply:
September 26th, 2009 at 1:11 am

coba di robots.txt apa saja yg Disallow / di blok dan cek juga letak sitemap nya ada dimana ?

suwi

on Fri, 30th Oct 2009 12:55 am

aku ngalamin hal sama nih sm yosep…kira2 step2nya bisa di jelaskan secara rinci ga ya di post berikutnya…saya tunggu post berikutnya…tp saya sudah dpt gambaran apa yg harus dilakukan , cuma masih perlu step yg lebih jelas aja..thx ya buat postingannya

ariefew Reply:
October 31st, 2009 at 11:48 am

kita buat file robots.txt di root website, isi file dg tulisan di atas…
Disallow artinya dibatasi/ tdk di index

sui

on Tue, 3rd Nov 2009 9:53 pm

mas arief, aku msh blom berhasil nih mengatasi duplicate title tag..bisa chat di YM ga mas, ym aku: suwiw
thx b4…

ariefew Reply:
November 4th, 2009 at 8:44 am

tag di blok oleh
Disallow: /tag/
tapi efek di webmaster tdk langsung terlihat loh………

Wayan Suadnyana

on Wed, 25th Nov 2009 2:47 pm

Saya mengalami masalah Pages with duplicate title tags:
baliweddingpicture.com/page/6/
baliweddingpicture.com/page/9/

Saya sudah membatasi di robot.txt seperti di bawah ini:
User-agent: *
Disallow: /archives/
Disallow: /page/3/
Disallow: /page/9/
Disallow: /page/6/
Allow: /

tapi duplicate title tags enga hilang2 sampai sekarang. Jika berkenan, saya mohon bantuan untuk menghilangkan duplicate title tag.
Wayan Suadnyana´s last blog ..Pre Wedding Photo Mike and Titin

ariefew Reply:
November 25th, 2009 at 10:37 pm

mungkin tunggu waktu om ……. gak langsung hilang kalau lihat di google…
langsung akses alamatnya aja kalau nge-cek……
Disallow: /page/*

Yande

on Sun, 13th Dec 2009 1:27 pm

Dear Admin,

Mohon bantuannya untuk menghilangkan duplicate meta descriptions di blogger. Saya sudah cari di google dan memakai cara seperti rel=”canonical” di header tapi enga mau hilang di google webmaster tools. Sedangkan di blogger saya tidak bisa mengupdate robot.txt seperti di wordpress.

Pages with duplicate meta descriptions di blogger.

/2009_01_01_archive.html
/2009_05_01_archive.html
/2009_07_01_archive.html
/

Pages with missing title tags

/2009/01/memulai-bisnis-photography.html‎

Terima kasih atas waktunya.

erwin sanders

on Sat, 26th Dec 2009 11:12 pm

buat mas aries. bisa tolong email kesaya ga yah.. saya punya masalah kek ginii
website kami uda ke index di google. untuk halaman index nya itu
saya kemarin memakai kmu-shop.com toko elektronik online call us ……

dan 5 hari yang lalu saya baru mengganti menjadi toko elektronik – kmushop

nah di 4 hari yang lalu saya sudah ke index.. dengan toko elektronik – kmushop

tapi di hari ini saya cek dia kembali nge index buat headernya memakai yang dulu …

tolong di kasi review nya ke email saya lebronhanzz@yahoo.com

Anime News

on Fri, 29th Jan 2010 1:50 pm

Saya mau nanya mengenai menaruh robot.txt di cpanel itu diabagian mana ya,.. Dilaporan diaGnostik di adsense saya tu bnyak yg diblokir karena robot.txt. Trus web saya jg ngak keindek ma google gra2 itu,…
Mohon bantuannya, Sebelumnya saya ucapkan terima kasih.

ariefew Reply:
February 3rd, 2010 at 2:05 pm

fungsi robots.txt adalah memperbolekan atau melarang (allow/disallow) crawl mengakses website anda, jika anda menulis disallow harus diperhatikan juga mana yg akan anda blok crawl masuk.
di google diagnotic memang akan muncul error akibat penggunaan robots.txt ini, tapi fungsi robots txt ini untuk menghilangkan duplikat konten.
penempatan robots.txt ada di root url, misal website ini ariefew.com/robots.txt

wiyono

on Wed, 10th Mar 2010 8:49 am

hampir 2 miggu aku mencari para temen blogger untuk membantu, bagaimana caranya menghilangkan robot text, karena di webmaster tool saya blog rumah tiara, ada robot text dan tertulis angka 12, bagaimana caranya supaya bisa menjadi 0..
mohon bantuannya, silahkan anda posting di pos komentar saya…ok terimakasih

ariefew Reply:
March 14th, 2010 at 11:54 am

di website anda, apa terjadi duplicate content ? atau terjadi blocking oleh robots.txt?
Kalau terjadi blocking oleh robots.txt, tinggal anda allow aja yg di block tsb

Tell me what you're thinking...
and oh, if you want a pic to show with your comment, go get a gravatar!