Sajt je očišćen, ali Google i dalje prikazuje spam stranice: kako ih ukloniti iz indeksa

Ovaj vodič obrađuje temu spam iz google indeksa od potvrde problema do čišćenja i prevencije.

Sajt je očišćen. Zaraženi fajlovi su zamenjeni, baza je pregledana, lozinke su promenjene, a provera pokazuje da je sve u redu. Onda ukucate naziv firme u Google i vidite iste one rezultate kao pre nedelju dana: japanske znakove, reklame za lekove, kazino bonuse ili prodavnice satova, sve pod vašim domenom.

Ovo je jedna od najčešćih i najfrustrirajućih situacija posle hakovanja. Vlasnik pomisli da čišćenje nije uspelo ili da je napadač ponovo ušao. Ponekad je to tačno, ali najčešće je razlog mnogo jednostavniji: Google još nije saznao da se stanje promenilo.

Dobra vest je da se ovaj deo posla može uraditi sistematski i da ima jasan kraj. Loša vest je da se lako napravi greška koja proces produži za nekoliko meseci, i da je vrlo malo vlasnika sajtova unapred upoznato sa pravilima koja Google ovde primenjuje.

U ovom tekstu objašnjavamo zašto Google pamti spam i posle čišćenja, kako da proverite da li je problem u indeksu ili na samom sajtu, i kojim redom da uklonite spam rezultate tako da nestanu što brže, bez grešaka koje proces produžavaju za više meseci.

Zašto Google i dalje prikazuje spam posle čišćenja

Kod teme spam iz google indeksa redosled koraka je važniji od žurbe.

Google ne gleda vaš sajt uživo svaki put kada neko pretražuje. Rezultati dolaze iz indeksa, ogromne baze stranica koje je Google ranije posetio i zapamtio. Kada očistite sajt, indeks se ne menja istog trenutka. Google mora ponovo da poseti svaku spam adresu, vidi da više ne postoji i tek onda je izbaci.

Google posećuje male sajtove relativno retko

Veliki portali se posećuju više puta dnevno. Sajt male firme Google može da poseti jednom u nekoliko dana, a pojedinačne manje važne adrese i ređe. Ako je napadač ubacio stotine ili hiljade spam stranica, Google-u treba vreme da ih sve ponovo obiđe.

Spam adrese nisu u vašoj mapi sajta

Legitimne stranice Google pronalazi preko mape sajta i internih linkova. Spam stranice je napadač najčešće „prijavio“ preko spoljnih linkova sa drugih zaraženih sajtova. Kada ih uklonite, ne postoji prirodan signal koji Google-u govori da ih ponovo proveri, pa one ostaju u redu za posetu duže nego što biste želeli.

Server ne odgovara uvek pravilno

Ovo je najčešći tehnički razlog. Posle čišćenja, spam adrese često vraćaju naslovnu stranicu ili praznu stranicu sa statusom 200, što za Google znači „stranica postoji i sve je u redu“. Google tada nema razloga da je izbaci iz indeksa. Više o ovome u nastavku, jer je to ključni deo rešenja.

Prvo proverite: da li je problem u indeksu ili na sajtu?

Pre nego što se bavite indeksom, morate biti sigurni da je sajt zaista čist. Ako napadač i dalje ima pristup, nikakav rad na indeksu neće pomoći.

Test aktivnog URL-a u Search Console-u

Uzmite nekoliko spam adresa iz Google rezultata i proverite ih alatom Pregled URL-a u Search Console-u. Kliknite na Testiraj aktivan URL. Ovaj test šalje Google-ovog robota na adresu u tom trenutku, pa vidite šta Google danas zaista dobija.

• Ako test pokazuje spam sadržaj, sajt nije očišćen. Cloaking kod je i dalje aktivan negde u fajlovima, bazi ili serverskim pravilima. Vratite se na čišćenje. Pomoći će vam tekst Spam linkovi u Google pretrazi mog sajta.
• Ako test pokazuje grešku 404 ili 410, sajt je čist i problem je samo u indeksu.
• Ako test pokazuje vašu naslovnu ili neku drugu normalnu stranicu, sajt je verovatno čist, ali server pogrešno odgovara na spam adrese. To morate ispraviti pre svega ostalog.

Provera iz pregledača, kao posetilac iz Google-a

Otvorite privatni prozor, ukucajte naziv firme u Google i kliknite na spam rezultat. Ako vas prebaci na tuđi sajt, infekcija je i dalje aktivna. Više o ovom obliku napada pročitajte u tekstu Sajt me preusmerava na drugi sajt.

Korak 1: Neka spam adrese vraćaju pravi odgovor

Kada Google poseti adresu koja više ne postoji, server mora jasno da mu kaže da je stranica uklonjena. To se radi HTTP statusom, brojem koji server šalje uz svaki odgovor.

404 ili 410

• 404 (Not Found) znači „ova stranica ne postoji“. Google će je vremenom izbaciti iz indeksa.
• 410 (Gone) znači „ova stranica je postojala i trajno je uklonjena“. Google ovaj signal tretira kao nešto konačniji, pa su adrese sa statusom 410 obično nešto brže izbačene.

Za spam adrese posle hakovanja najbolji izbor je 410. Razlika u brzini nije ogromna, ali kada imate hiljade adresa, svaka pomoć je dobrodošla.

Česta greška: preusmeravanje spam adresa na naslovnu

Mnogi vlasnici, ili čak programeri, podese da se sve nepostojeće adrese preusmeravaju na naslovnu stranicu. Tako posetilac „ne vidi grešku“. Za Google je to, međutim, problem. Preusmeravanje hiljada nepostojećih adresa na naslovnu Google obično tretira kao takozvani „soft 404“ i nije siguran šta da radi sa njima, pa proces traje duže. Spam adrese ne treba preusmeravati, već treba da vrate 410 ili 404.

Kada spam adrese imaju parametre

Česta situacija posle pharma i Japanese hack-a je da spam adrese izgledaju ovako: vasajt.rs/?abc=cialis-kupiti ili vasajt.rs/index.php?page=replica-satovi-123. WordPress na takve adrese po pravilu prikazuje naslovnu stranicu sa statusom 200, jer nepoznate parametre jednostavno ignoriše. Zbog toga Google vidi „normalnu stranicu“ i ne izbacuje adresu.

Rešenje je serversko pravilo koje prepoznaje obrazac spam adresa i za njih vraća 410. Obrazac se određuje na osnovu stvarnih spam adresa iz Search Console-a: zajednički parametar, zajednički deo putanje ili karakteristične reči. Ovo pravilo se postavlja u .htaccess (Apache/LiteSpeed), u konfiguraciju Nginx-a ili kroz dodatak za preusmeravanja koji podržava status 410. Pravilo mora biti precizno, da slučajno ne blokira legitimne stranice ili parametre koje sajt stvarno koristi (pretraga, filteri u prodavnici, UTM oznake).

Ne blokirajte spam adrese u robots.txt

Instinkt je da se spam adrese zabrane u fajlu robots.txt. To je greška. Ako Google-u zabranite pristup adresi, on ne može da vidi da ona vraća 410, pa je može zadržati u indeksu mesecima, uz napomenu „indeksirano, iako je blokirano fajlom robots.txt“. Google mora imati pristup spam adresama da bi saznao da su uklonjene.

Korak 2: Privremeno sakrijte najgore rezultate

Dok Google ponovo posećuje adrese, spam rezultati i dalje štete ugledu. Search Console ima alat koji ih privremeno sakriva.

Alat „Uklanjanja“

U Search Console-u otvorite Indeksiranje → Uklanjanja i kliknite na Novi zahtev. Možete tražiti uklanjanje jedne tačne adrese ili svih adresa koje počinju određenim prefiksom, na primer https://vasajt.rs/shop/.

Važno je razumeti šta ovaj alat radi:

• Sakriva adrese iz rezultata pretrage privremeno, otprilike šest meseci.
• Ne briše ih trajno iz indeksa. Ako za to vreme adresa ne vraća 404 ili 410, vratiće se u rezultate kada zahtev istekne.
• Zato se koristi zajedno sa korakom 1, nikako umesto njega.

Šta prvo ukloniti

Ako spam adresa ima mnogo, nema potrebe da prijavljujete svaku. Fokusirajte se na one koje se pojavljuju za naziv vaše firme i za vaše glavne usluge, jer njih klijenti vide. Ako spam adrese dele zajednički prefiks, jedan zahtev može da pokrije stotine njih.

Ne unosite prefiks koji obuhvata i legitimne stranice. Zahtev za https://vasajt.rs/ bi privremeno sakrio ceo sajt.

Korak 3: Pomozite Google-u da brže poseti spam adrese

Google će spam adrese vremenom posetiti i sam, ali proces možete ubrzati.

Ažurirajte i ponovo pošaljite mapu sajta

Proverite da mapa sajta (sitemap.xml) sadrži samo legitimne stranice, pa je ponovo pošaljite u Search Console-u. Ovo pomaže da Google brže ponovo obiđe prave stranice i ispravi njihove naslove i opise, posebno ako je napadač menjao naslove postojećih stranica.

Privremena mapa sa spam adresama

Poznata tehnika za brže izbacivanje velikog broja adresa je privremena, odvojena mapa sajta u kojoj se nalaze samo spam adrese, sa skorašnjim datumom izmene. Google tada ima razlog da ih poseti ranije, vidi status 410 i izbaci ih. Ovu mapu treba ukloniti kada se broj spam adresa u indeksu značajno smanji, obično posle nekoliko nedelja. Ovo je opcioni korak i ima smisla samo kada imate stotine ili hiljade spam adresa.

Zahtev za indeksiranje ključnih stranica

Za nekoliko najvažnijih stranica (naslovna, glavne usluge, kontakt) iskoristite dugme Zatraži indeksiranje u alatu Pregled URL-a. Tako Google brže osveži njihov naslov i opis ako ih je napadač promenio. Broj ovakvih zahteva dnevno je ograničen, pa ga koristite samo za stranice do kojih vam je najviše stalo.

Korak 4: Podnesite zahtev za pregled, ako postoji upozorenje

Ponovite ovu proveru ako se spam iz google indeksa vrati posle delimičnog čišćenja.

Ako je Google označio sajt zbog hakovanog sadržaja, to se vidi u Search Console-u pod Bezbednost i ručne radnje, u odeljku „Bezbednosni problemi“ ili „Ručne radnje“. Dok je upozorenje aktivno, sajt može da ima smanjenu vidljivost ili upozorenje u pregledaču.

Kako napisati dobar zahtev

Kada je sajt čist i spam adrese vraćaju 410, kliknite na Zatraži pregled. U zahtevu kratko i konkretno opišite:

• šta je pronađeno (na primer, ubačen cloaking kod u fajlovima teme i u bazi, spam stranice o lekovima),
• šta je uklonjeno i zamenjeno,
• kako je zatvoren ulaz (ažuriran ranjivi dodatak, promenjene lozinke, uključena dvostepena autentifikacija),
• kako se sprečava ponavljanje (nadzor, redovna ažuriranja).

Google ne traži tehnički esej, ali jasno i iskreno objašnjenje povećava šansu da zahtev bude odobren iz prvog pokušaja. Pregled obično traje od nekoliko dana do nekoliko nedelja. Više o ovome pročitajte u tekstu Sajt na Google crnoj listi: kako skinuti.

Ne šaljite zahtev prerano

Ako pošaljete zahtev dok sajt još nije potpuno čist, Google će ga odbiti, a svaki sledeći pregled može trajati duže. Bolje je sačekati dan ili dva i proveriti sve još jednom nego žuriti.

Kako pratiti napredak

Vlasnici često potcenjuju temu spam iz google indeksa dok Search Console ili klijenti ne podignu uzbunu.

Proces uklanjanja spam adresa nije trenutan i ne ide pravolinijski. Evo gde da gledate i šta je normalno.

Izveštaj o indeksiranju stranica

U Search Console-u, u izveštaju Indeksiranje stranica, pratite dve stvari. Broj indeksiranih stranica treba postepeno da pada ka realnom broju stranica vašeg sajta. Broj stranica u kategoriji „Nije pronađeno (404)“ ili sličnim kategorijama za uklonjene stranice treba da raste. To je dobar znak: Google posećuje spam adrese i vidi da ih nema.

Izveštaj se ažurira sa zakašnjenjem od nekoliko dana, pa ga ne gledajte svakog sata.

Pretraga „site:“

Pretraga site:vasajt.rs daje grubu sliku, ali broj rezultata u njoj nije precizan i zna da varira iz dana u dan. Koristite je da vidite da li se spam još pojavljuje za naziv firme, ali ne kao preciznu meru napretka.

Koliko to traje

Ne postoji fiksni rok. Kod manjih infekcija, sa desetinama spam adresa, većina rezultata nestane za dve do četiri nedelje. Kod velikih infekcija, sa hiljadama adresa, proces može trajati dva do tri meseca, a pojedinačne adrese se ponekad pojave i kasnije. Bitno je da trend bude jasno opadajući.

Posebni slučajevi

Napadač je promenio naslove vaših pravih stranica

Kod nekih infekcija, posebno kod Japanese keyword hack-a, napadač ne pravi samo nove spam stranice, nego menja i naslov i opis postojećih, tako da vaša naslovna u Google-u ima japanski ili farmaceutski naslov. Ove stranice ne treba uklanjati iz indeksa, jer su vam potrebne. Posle čišćenja proverite ih alatom Pregled URL-a, uverite se da test aktivnog URL-a pokazuje ispravan naslov, pa zatražite ponovno indeksiranje. Google obično osveži naslov u roku od nekoliko dana.

Spam je na poddomenu

Ponekad napadač napravi poddomen, na primer shop.vasajt.rs ili nasumičan naziv, i na njega postavi spam. Proverite DNS zapise domena i uklonite poddomene koje ne prepoznajete. Ako koristite Search Console sa svojstvom domena, videćete i rezultate sa poddomena, pa ih možete pratiti na istom mestu.

Bing i drugi pretraživači

Isti spam je najčešće indeksiran i u Bing-u, koji pokreće i neke druge pretraživače i AI asistente. Proces je sličan: dodajte sajt u Bing Webmaster Tools, pošaljite ispravnu mapu sajta i koristite njihov alat za uklanjanje sadržaja za najgore rezultate. Status 410 na serveru radi i za Bing.

Greške koje produžavaju proces

Iz prakse, ovo su najčešći razlozi zbog kojih spam ostaje u Google-u mnogo duže nego što bi trebalo:

• Rad na indeksu pre nego što je sajt potpuno čist. Google ponovo vidi spam i vraća adresu u indeks.
• Preusmeravanje svih nepostojećih adresa na naslovnu. Google ne dobija jasan signal da je stranica uklonjena.
• Blokiranje spam adresa u robots.txt. Google ne vidi status 410.
• Oslanjanje samo na alat „Uklanjanja“. Posle šest meseci rezultati se vraćaju.
• Brisanje i ponovno pravljenje Search Console naloga. Gubite istoriju i ne dobijate ništa.
• Zahtev za pregled poslat prerano. Odbijen zahtev produžava ceo proces.

Oporavak pozicija posle čišćenja

Kada spam nestane iz indeksa, pozicije sajta se obično postepeno vraćaju, ali ne uvek na isti nivo i ne odmah. Google je neko vreme gledao vaš sajt kao izvor spama, i treba mu vremena da ponovo stekne poverenje.

Oporavak ubrzavaju redovno objavljivanje korisnog sadržaja, ispravni naslovi i opisi ključnih stranica i dobar tehnički rad sajta. Pomaže i prirodno dobijanje novih linkova sa ozbiljnih sajtova. Ništa od toga, međutim, ne vredi ako se infekcija vrati, pa je nadzor posle čišćenja jednako važan kao i samo čišćenje. Zašto se infekcije vraćaju, objasnili smo u tekstu Infekcija se vraća posle čišćenja.

Sledeći korak

Ako posle čišćenja i dalje vidite spam u Google-u, pokrenite besplatnu proveru sajta da potvrdite da se sa interneta više ne vidi zaraza. Ako želite da neko preuzme ceo proces, od čišćenja, preko pravilnih odgovora servera, do zahteva za pregled u Search Console-u, javite nam se ili pozovite 065 402 5000.