googlebot heeft geen toegang tot site

Vragen/antwoorden betreffende het maken van je eigen website.

kris.gua
Lid geworden op: 14 apr 2006, 10:43
Locatie: Brasschaat

18 nov 2013, 23:37

Hallo,
Ik kreeg een mail met deze melding (zie hieronder), maar eerlijk gezegd begrijp ik er niets van. Ik heb geen bestand robots.txt en heb geen idee hoe dat gegenereerd zou kunnen worden.
Kan iemand me helpen ? Betekent dat dat de website binnenkort niet meer gevonden zal worden door google. Het laatste dat ik erop gezet heb zijn de zoekpagina’s. Ik had eerst geprobeerd met de zoekfunctie van google, maar die zocht niet in de database.
Alvast bedankt!
Kris
http://www.marcel-heyndrikx-svd.be/: Googlebot heeft geen toegang tot uw site
In de afgelopen 24 uur heeft Googlebot 3 fouten aangetroffen bij toegangspogingen tot uw robots.txt-bestand. Om ervoor te zorgen dat we geen pagina's crawlen die in dat bestand staan vermeld, hebben we onze crawlpoging uitgesteld. De totale foutfrequentie voor robots.txt voor uw site is 100.0%.
U kunt meer informatie over deze fouten bekijken in de Webmasterhulpprogramma's van Google.
________________________________________
Aanbevolen actie
Als de foutfrequentie voor de site 100% is:
• Gebruik een webbrowser om te proberen toegang te krijgen tot http://www.marcel-heyndrikx-svd.be/robots.txt. Als u dit kunt openen in uw browser, is uw site mogelijk geconfigureerd om Googlebot te blokkeren. Controleer de configuratie van uw firewall en site om ervoor te zorgen dat u de toegang voor Googlebot niet blokkeert.
• Als uw robots.txt een statische pagina is, controleert u of uw webservice beschikt over de juiste toestemming om het bestand te openen.
• Als uw robots.txt dynamisch wordt gegenereerd, controleert u of de scripts die het bestand genereren, correct zijn geconfigureerd en toestemming hebben om te worden uitgevoerd. Controleer de logbestanden voor uw website om te zien of uw scripts mislukken. Als dit het geval is, probeert u de oorzaak van het probleem te achterhalen.
Als de foutfrequentie van de site lager dan 100% is:
• Gebruik de Webmasterhulpprogramma's van Google om een dag met een hoge foutfrequentie te vinden en controleer de logbestanden voor uw webserver voor die dag. Zoek in de logbestanden voor die dag naar fouten bij toegang krijgen tot robots.txt en verhelp de oorzaken van die fouten.
• De meest waarschijnlijke reden is dat uw site overbelast is. Neem contact op met uw hostingprovider en bespreek mogelijkheden om uw webserver opnieuw te configureren of meer bronnen aan uw website toe te voegen.
• Als uw site doorverwijst naar een andere hostnaam, is het ook mogelijk dat een URL op uw site doorverwijst naar een hostnaam waarbij de toegang tot het robots.txt-bestand wordt beïnvloed door een of meer van deze problemen.
Als u denkt dat u het probleem heeft opgelost, gebruikt u Ophalen als Google om http://www.marcel-heyndrikx-svd.be/robots.txt op te halen om te controleren of Googlebot goed toegang kan krijgen tot uw site.
Meer informatie in ons Helpcentrum.
AspireE17-intelcore i3-6100U - Windows 10
HP Pavilion dm3 Notebook PC processor: AMD AThion ™ Neo W2 Dual Core Processor L335 1.60 GHz
Acer Aspire 7551 Processor: AMD Athlon™IIP320dual coreProcessor 2.10 GHzt
Windows 7Home

coderunner
Lid geworden op: 27 mar 2006, 04:35
Locatie: Aubauke - Aentwaerepe

19 nov 2013, 21:44

Beste Kris,

Robot crawlers zoeken het web af naar pagina's. Deze robots zijn geautomatiseerd en voordat ze een site bezoeken, controleren ze eerst of er een robots.txt-bestand is waardoor ze bepaalde pagina's niet kunnen crawlen en indexeren.
Een robots.txt geeft aan welke bestanden, mappen, ... van je website mogen geïndexeerd worden. Je plaats dit bestand in de "root"
Een robots.txt is heel makkelijk zelf te maken.
Voorbeelden vind je >> hier (zie roze kaders) <<

Meer uitleg vind je >> hier <<
Klik ook onderaan op de pagina op de tekst "Een robots.txt bestand maken" en "Een robots.txt bestand testen"

Succes!
mvg,
Coderunner

Aangepast: robot.txt --> moet zijn robots.txt
Laatst gewijzigd door coderunner op 22 nov 2013, 18:41, 1 keer totaal gewijzigd.
Bedank de perso(o)n(en) die je volledig op vrijwillige basis een antwoord geeft(geven) en/of beantwoord ten minste een reaktie op jouw vraag. Zo weten andere gebruikers EN de moderator dat je "probleem" al dan niet is opgelost. Alvast bedankt.

kris.gua
Lid geworden op: 14 apr 2006, 10:43
Locatie: Brasschaat

20 nov 2013, 02:43

Dag Coderunner,

Bedankt voor uw antwoord. Maar er moet bij deze website niets geblokkeerd worden. Ik heb ook geen robots.txt-bestand (ik heb nog eens alle bestanden gecontroleerd, en vind er geen.)

Op de infopagina's vond ik:
To allow all robots complete access

User-agent: *
Disallow:

(or just create an empty "/robots.txt" file, or don't use one at all)

Ik zal dus proberen er toch een te maken met
User-agent: *
Disallow:
en die in de header includen..

Ik laat nog weten of het daarna opgelost is.

groetjes,

Kris

PS: blijkbaar nog niet gelukt:

Als op de link controleren …. klikte, kreeg ik dit
robots.txt onbereikbaar
als ik daarop klik:
Fetchen als Google
Dit is het resultaat nadat Googlebot de pagina heeft opgehaald.
URL: http://www.marcel-heyndrikx-svd.be/
Datum: dinsdag 19 november 2013 17:56:21 GMT-8
Googlebot-type: Web
Downloadtijd (in milliseconden):

Ik krijg dit ook als ik op “ophalen als google” klik, terwijl http://www.marcel-heyndrikx-svd.be/robots.txt wel lukt.

Ik heb ook nog geprobeerd met <script src="robots.txt" type="text/javascript"></script> in de header in plaats van die te includen, ook zonder resultaat.

Ik snap niet wat ik verkeerd doe.

Is het mogelijk het nog eens heel eenvoudig uit te leggen ?

Alvast bedankt,

Kris
AspireE17-intelcore i3-6100U - Windows 10
HP Pavilion dm3 Notebook PC processor: AMD AThion ™ Neo W2 Dual Core Processor L335 1.60 GHz
Acer Aspire 7551 Processor: AMD Athlon™IIP320dual coreProcessor 2.10 GHzt
Windows 7Home

coderunner
Lid geworden op: 27 mar 2006, 04:35
Locatie: Aubauke - Aentwaerepe

20 nov 2013, 15:24

Beste Kris,

Je moet het bestand niet "includen" in de header of proberen met een script code.
Je moet gewoon een bestand maken zoals je php of html bestanden maakt en dit bestand opladen

1. Open bv. kladblok
2. Schrijf volgende code

Code: Selecteer alles

User-agent: * 
Disallow: 
3. Bewaar dit als robots.txt
4. Upload dit bestand naar de webhostserver

Succes,
mvg,
Coderunner

Aangepast: robot.txt --> moet zijn robots.txt
Laatst gewijzigd door coderunner op 22 nov 2013, 18:42, 1 keer totaal gewijzigd.
Bedank de perso(o)n(en) die je volledig op vrijwillige basis een antwoord geeft(geven) en/of beantwoord ten minste een reaktie op jouw vraag. Zo weten andere gebruikers EN de moderator dat je "probleem" al dan niet is opgelost. Alvast bedankt.

kris.gua
Lid geworden op: 14 apr 2006, 10:43
Locatie: Brasschaat

20 nov 2013, 17:07

Dag Coderunner,

Daarmee was ik eigenlijk begonnen, maar dan met robots.txt . Nu nog eens gedaan me robot.txt.
Helpt niet: nu melding:
Onbereikbare pagina
Ik heb de include en script code weggehaald voor ik testte.

Als ik op de naam Marcel Heyndrikx google, staat de website nog bovenin de lijst van zoekresultaten. Maar ik vrees dat het alleen maar in de cache zit?

Toch bedankt!

Kris
AspireE17-intelcore i3-6100U - Windows 10
HP Pavilion dm3 Notebook PC processor: AMD AThion ™ Neo W2 Dual Core Processor L335 1.60 GHz
Acer Aspire 7551 Processor: AMD Athlon™IIP320dual coreProcessor 2.10 GHzt
Windows 7Home

kris.gua
Lid geworden op: 14 apr 2006, 10:43
Locatie: Brasschaat

25 nov 2013, 15:03

Dag Coderunner,

Ik wil even melden dat het probleem opgelost is. Ik heb niets meer gewijzigde, maar probeerde vandaag nog eens te "fechen", en nu kwam direct de melding "succesvol".
Blijkbaar heeft Google enkele dagen tijd nodig om zich aan te passen.

groetjes,

Kris
AspireE17-intelcore i3-6100U - Windows 10
HP Pavilion dm3 Notebook PC processor: AMD AThion ™ Neo W2 Dual Core Processor L335 1.60 GHz
Acer Aspire 7551 Processor: AMD Athlon™IIP320dual coreProcessor 2.10 GHzt
Windows 7Home

coderunner
Lid geworden op: 27 mar 2006, 04:35
Locatie: Aubauke - Aentwaerepe

25 nov 2013, 19:30

Hallo Kris,

Bedankt voor de update.
Ja soms staat er op de bepaalde google pagia bij "pending" en dan moet je wachten natuurlijk :wink:

mvg,
Coderunner
Bedank de perso(o)n(en) die je volledig op vrijwillige basis een antwoord geeft(geven) en/of beantwoord ten minste een reaktie op jouw vraag. Zo weten andere gebruikers EN de moderator dat je "probleem" al dan niet is opgelost. Alvast bedankt.

kris.gua
Lid geworden op: 14 apr 2006, 10:43
Locatie: Brasschaat

25 nov 2013, 22:50

Ja, dat weet ik. Maar dat was al weg, in de plaats stond: "Onbereikbare pagina".
Nu ineens niet meer. (Ik moest wel eerst terug op fetchen klikken.) Ik verduidelijk dit voor het geval er nog iemand zo'n mail krijgt: best enkele dagen geduld hebben.

groetjes en nog eens bedankt!

Kris
AspireE17-intelcore i3-6100U - Windows 10
HP Pavilion dm3 Notebook PC processor: AMD AThion ™ Neo W2 Dual Core Processor L335 1.60 GHz
Acer Aspire 7551 Processor: AMD Athlon™IIP320dual coreProcessor 2.10 GHzt
Windows 7Home