Ang robot ng search engine ay responsable para sa pag-crawl ng mga web page. Awtomatikong binabasa ng programa ang data mula sa lahat ng mga site at nirerehistro ang mga ito sa isang form na naiintindihan para sa search engine mismo, upang sa paglaon ay ipakita ng system ang pinakaangkop na mga resulta para sa gumagamit.
Mga pagpapaandar
Ang lahat ng na-index na impormasyon ay naitala sa isang karaniwang database.
Ang isang robot ng paghahanap ay isang programa na awtomatikong naglalakbay sa mga pahina ng Internet, na humihiling ng mga kinakailangang dokumento at tumatanggap ng istraktura ng mga gumagapang na site. Malaya na pinipili ng robot ang mga pahina upang mai-scan. Sa karamihan ng mga kaso, ang mga site na i-scan ay random na napili.
Mga uri ng bot
Ang isang hindi wastong paggana ng robot ay makabuluhang nagdaragdag ng karga sa network at sa server, na maaaring maging sanhi ng pagiging hindi magagamit ng mapagkukunan.
Ang bawat search engine ay may maraming mga programa na tinatawag na robot. Ang bawat isa sa kanila ay maaaring gumanap ng isang tukoy na pagpapaandar. Halimbawa, sa Yandex, ang ilang mga robot ay responsable para sa pag-scan ng mga RSS news feed, na magiging kapaki-pakinabang para sa pag-index ng mga blog. Mayroon ding mga programa na naghahanap lamang ng mga larawan. Gayunpaman, ang pinakamahalagang bagay ay ang indexing bot, na bumubuo sa batayan para sa anumang paghahanap. Mayroon ding isang pandiwang pantulong na mabilis na robot na idinisenyo upang maghanap ng mga pag-update sa mga feed ng balita at mga kaganapan.
Pamamaraan sa pag-scan
Ang isa pang paraan upang maiwasan ang pag-crawl ng nilalaman ay ang paglikha ng pag-access sa site sa pamamagitan ng panel ng pagpaparehistro.
Kapag bumibisita sa site, sinusuri ng programa ang file system para sa pagkakaroon ng mga file ng tagubilin ng robots.txt. Kung mayroong isang dokumento, ang pagbabasa ng mga direktiba na nakasulat sa dokumento ay nagsisimula. Maaaring pagbawalan ng Robots.txt o, sa kabaligtaran, pinapayagan ang pag-scan ng ilang mga pahina at file sa site.
Ang proseso ng pag-scan ay nakasalalay sa uri ng programa. Minsan binabasa lamang ng mga robot ang mga pamagat ng pahina at ilang talata. Sa ilang mga kaso, ang pag-scan ay ginagawa sa buong dokumento depende sa markup ng HTML, na maaari ring gumana bilang isang paraan para sa pagtukoy ng mga pangunahing parirala. Ang ilang mga programa ay nagpakadalubhasa sa mga tagong tag o meta.
Pagdaragdag sa listahan
Maaaring pigilan ng bawat webmaster ang search engine mula sa pag-crawl ng mga pahina sa pamamagitan ng robots.txt o ang META na tag. Gayundin, maaaring manu-manong idagdag ng tagalikha ng site ang site sa pila ng pag-index, ngunit ang pagdaragdag nito ay hindi nangangahulugan na agad na gagapangin ng robot ang nais na pahina. Upang magdagdag ng isang site sa pila, nagbibigay din ang mga search engine ng mga espesyal na interface. Ang pagdaragdag ng isang site ay makabuluhang nagpapabilis sa proseso ng pag-index. Gayundin, para sa mabilis na pagpaparehistro sa isang search engine, maaaring magamit ang mga system ng web analytics, mga direktoryo ng site, atbp.
