
Da Bing ønsker at udfase den tidligere web crawler – msn-bot – har de over en længere periode arbejdet med oprettelsen af en ny bot. Denne skal strømligne Bing som brand og give brugerne mere kontrol. I juni offentliggjorte de udskiftnings planerne, og den. 3 september offentliggjorde Bing, at den nye bot bliver klar til lancering den. 1 oktober.
Vi går her igennem de ændringerne, der vil finde sted og dem som forbliver uændret.
Ændringer i navn:
Den første ændring kommer i form navnet. Før kunne man identificere msn-bot som følgende:
msnbot/2.0b (+http//search.msn.com/msnbot.htm
Til oktober sker der følgende ændring:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)
Bing gør dette, så web-servere i fremtiden vil opfatte crawleren som en rigtig web-browser i stedet for en normal search-bot.
Andre ændringer i navn:
Udover ovennævnte vil man kunne identificere msn-bot under HTTP headeren således:
From: msnbot(at)microsoft.com
Fra den. 1 oktober vil kunne se BingBot således:
From: bingbot(at)microsoft.com
Ændringer i tilladelser og kontrol:
Hvis man er webmaster, er det vigtigt, at undersøge om ens server tillader crawlere. En metode til dette er oprettelsen af en robot.txt fil. Hvis man allerede har oprettet en robot.txt-fil med specifik adgang til msn-bot, skal man opdatere den, så man i fremtiden giver adgang til Bing-bot. Se eksemplet neden for.
Før,
User-agent:msnbot
Disalow:/folder2
efter,
User-agent:bingbot
Disalow:/folder2
Ønsker man ingen sider læst, kan man nøjes med følgende:
User-agent:*
Disalow:/
Dermed giver man ingen tilladelser til nogen crawlere.
Hvis der er crawler adgang til enkelte steder på ens website, eksempelvis via en .htaccess fil, hvor man tidligere har givet adgang til msn, så skal man opdaterer robot.tex-filen til bing-bot. Ellers vil ens indhold forsvinde fra Bings indeks.
Hvis man optræder på Yahoo search indeks, og ønsker at fortsætte med dette, skal man også opdatere Yahoo-bot til Bing. Dette fordi Yahoo er indgået samarbejde med Bing. Gør man ikke det, vil ens site ligeledes forsvinde fra Yahoo indeks.
Uændret:
IP adresser fra crawlede sites vil forblive uændret. Ligeledes vil ændringerne ikke påvirke, hvor tit Bing crawler et site. Den bedste måde for dette er stadig kun ved at gøre brug af SEO-teknikker. Ud over dette har man mulighed for at gøre brug af Bing Webmaster Tool, hvor man kan slette indhold, opdatere sitemaps. ændre robot.txt fil m.m.
Endeligt – hvad betyder det for dig?
Ændringerne har kun betydning, hvis du er webmaster, som gør brug af robot.txt fil til kontrol af crawlere. Og såfremt man ønsker at blive på Yahoo.