Как да правите технически crawl на големи сайтове
Големите сайтове изискват различна методика от „обикновения“ одит. Тук целта е да обхванете колкото се може повече валидни URL-и, без да прегреете сървъра, и да получите данни, които реално водят до приоритизиран задачник. По-долу е стъпков процес, доказал се при сайтове със стотици хиляди и милиони страници. Как да подготвите средата за crawl на мащабни…









