Ta kontakt med oss

SEO

“It’s Impossible To Crawl The Whole Web”

Publicerad

“It’s Impossible To Crawl The Whole Web”


In response to a question about why SEO tools don’t show all backlinks, Googles Search Advocate John Mueller says it’s impossible to crawl the whole web.

This is stated in a comment on Reddit in a thread started by a frustrated SEO professional.

They ask why all länkar pointing to a site aren’t getting found by an SEO tool they’re using.

Which tool the person is using isn’t important. As we learn from Mueller, it’s not possible for any tool to discover 100% of a website’s inbound länkar.

Här är varför.

There’s No Way To Crawl The Web “Properly”

Mueller says there’s no objectively correct way to crawl the web because it has an infinite number of URLs.

No one has the resources to keep an endless amount of URLs in a database, so web crawlers try to determine what’s worth crawling

As Mueller explains, that inevitably leads to URLs getting crawled infrequently or not at all.

“There’s no objective way to crawl the web properly.

It’s theoretically impossible to crawl it all, since the number of actual URLs is effectively infinite. Since nobody can afford to keep an infinite number of URLs in a database, all web crawlers make assumptions, simplifications, and guesses about what is realistically worth crawling.

And even then, for practical purposes, you can’t crawl all of that all the time, the internet doesn’t have enough connectivity & bandwidth for that, and it costs a lot of money if you want to access a lot of pages regularly (for the crawler, and for the site’s owner).

Past that, some pages change quickly, others haven’t changed for 10 years – so crawlers try to save effort by focusing more on the pages that they expect to change, rather than those that they expect not to change.”

How Web Crawlers Determine What’s Worth Crawling

Mueller goes on to explain how web crawlers, including search engines and SEO tools, figure out which URLs are worth crawling.

“And then, we touch on the part where crawlers try to figure out which pages are actually useful.

The web is filled with junk that nobody cares about, pages that have been spammed into uselessness. These pages may still regularly change, they may have reasonable URLs, but they’re just destined for the landfill, and any search engine that cares about their users will ignore them.

Sometimes it’s not just obvious junk either. More & more, sites are technically ok, but just don’t reach “the bar” from a quality point of view to merit being crawled more.”

Web Crawlers Work With A Limited Set Of URLs

Mueller concludes his response saying all web crawlers work on a “simplified” set of URLs.

Since there’s no correct way to crawl the web, as mentioned previously, every SEO tool has its own way of deciding which URLs are worth crawling.

That’s why one tool may discover backlinks that another tool didn’t find.

“Therefore, all crawlers (including SEO tools) work on a very simplified set of URLs, they have to work out how often to crawl, which URLs to crawl more often, and which parts of the web to ignore. There are no fixed rules for any of this, so every tool will have to make their own decisions along the way. That’s why search engines have different content indexed, why SEO tools list different länkar, why any metrics built on top of these are so different.”


Källa: Reddit

Featured Image: rangizzz/Shutterstock





Källlänk

SEO

Länkar har mindre inverkan idag än tidigare

Publicerad

Links Have Less Impact Today Than In The Past

I en Google SEO office hours video, a Googler answered a question about backlinks and rankings and offered the interesting fact that backlinks have less impact as a ranking signal than it used to in the past.

Backlinks Ranking Signal

Länkar and anchor text signals made Google a better search engine than the competition when it was first introduced.

SEO used to primarily be about optimizing titles, headings, and content with keywords.

After Google became important it was realized that länkar were the key to better rankings.

Whole industries rose to service the need for länkar, such as web directories and link selling brokers.

Olika länkbygge techniques also came to be such as reciprocal linking, comment spam, forum spam and so on.

Google largely lost the war against link spam. The turning point was 2012 with the introduction of the Penguin algorithm, as well as other updates to Google’s infrastructure (Hummingbird) which allowed Google to do increasingly massive amounts of link related ranking functions.

Today we are at a point where Google is able to rank länkar på ett sådant sätt att låg kvalitet länkar kasseras.

Länkar fortsätter att vara en viktig rankningsfaktor men det har varit ett mysterium hur stor påverkan länkar har idag.

John Mueller spekulerade nyligen den där länkar kan börja spela en minskande roll i rankningen och säga:

"...det är något där jag föreställer mig, med tiden, vikten på länkar någon gång kommer att falla av lite eftersom vi kan ta reda på lite bättre hur innehållet passar in i hela webbens sammanhang.”

Bakåtlänkar har mindre inverkan idag

Det är intressant att höra en Googler säga att länkar har mindre inverkan idag eftersom man förstod att minskningen i betydelse var något i framtiden.

Men den viktigaste punkten att tänka på är kanske att styrkan på länksignalen jämförs med när Google startade.

Anmärkningen om länkar kom från en fråga om varför Google fortfarande använder bakåtlänkar och om länkbyggande kampanjer inte är tillåtna.

Det här är frågan:

"Varför fortsätter Google att använda bakåtlänkar som en rankningsfaktor om länkbyggande kampanjer inte är tillåtna?

Varför kan inte Google hitta andra rankningsfaktorer som inte enkelt kan manipuleras som bakåtlänkar?”

Googles svar:

”Det finns flera saker att packa upp här.

För det första har bakåtlänkar som en signal mycket mindre betydande inverkan jämfört med när Google Sök först startade för många år sedan.

Vi har robusta rankningssignaler, hundratals av dem, för att se till att vi kan rangordna de mest relevanta och användbara resultaten för alla frågor."

Det är definitivt sant, länkar har mycket mindre effekt idag än när Google startade, främst för att färre typer av länkar (som kataloglänkar, betalda länkar) har förmågan att påverka sökrankningen.

Det är oklart om Googler hänvisade till mer än bara de typer av länkar som fortfarande har en inverkan.

Googleren fortsatte:

"För det andra, fullständiga länkbyggande kampanjer, som i huvudsak är länkspam enligt vår spampolicy.

Vi har många algoritmer som kan upptäcka onaturliga länkar i stor skala och omintetgöra dem.

Detta betyder att spammare eller SEO:er som spenderar pengar på länkar verkligen inte har något sätt att veta om pengarna de spenderade på länkbyggande faktiskt är värt det eller inte, eftersom det är mycket troligt att de bara slösar pengar på att bygga alla dessa spammiga länkar och de var redan ogiltigförklarade av våra system så snart vi ser dem.”

Länkar och webbplatsmarknadsföring är fortfarande viktiga

Länkar har en funktion som går utöver att bara rangordna. Google upptäcker webbsidor genom länkar.

Googles egen dokumentation inte bara citerar länkar som hur Google upptäcker webbsidor, det uppmuntrar även utgivare att marknadsföra sina webbplatser.

Dokumentationen säger:

"Google hittar också sidor genom länkar från andra sidor. Lär dig hur du uppmuntrar människor att upptäcka din webbplats genom att marknadsföra din webbplats.

...Möjligen finns det ett antal webbplatser som täcker ämnesområden som liknar din. Att öppna upp kommunikation med dessa webbplatser är vanligtvis fördelaktigt. Heta ämnen i din nisch eller gemenskap kan väcka ytterligare idéer för innehåll eller bygga en bra gemenskapsresurs."

Mängden länkar som pekar till en webbplats indikerar fortfarande hur viktig en webbplats är.

Länkmönstren som skapas från naturliga länkar hjälper Google att förstå vad en webbplats handlar om också genom resultatet länkdiagram.

Följdfrågor

Googlers uttalanden verkar kräva uppföljningsfrågor.

  • Menade Googleren att länkar som Google använder för rankning har mindre inverkan än tidigare?
  • Hur är det med länkbyggande kampanjer som är inriktade på att berätta för andra om en webbplats och be om en länk, betraktas de som spam?
  • När Googleren refererade till "länkbyggande kampanjer" pratade de om kampanjer för att betala för gästinlägg eller länkinfogningar i befintliga artiklar?

Svaren som ges är bra utgångspunkter men detta nya format för Googles kontorstid genomförs inte live.

Det betyder att det inte finns något sätt att ställa uppföljningsfrågor, vilket gör vissa av svaren mindre användbara.

Citat

Utvald bild av Shutterstock/Asier Romero

Lyssna på Googles kontorstid efter 6:08 minuter



Källlänk

Fortsätt läsa

MISSA INTE NÅGRA VIKTIGA NYHETER!
Prenumerera på vårt nyhetsbrev
Vi lovar att inte spamma dig. Avsluta prenumerationen när som helst.
Ogiltig e-postadress

Trendigt

sv_SESvenska