Что ценного сказали Садовский и Сафин на IBC Russia 2014?

Что ценного сказали Садовский и Сафин на IBC Russia 2014?
Думаю многие знают, что 27-28 ноября в Москве прошла конференция IBC Russia 2014. Важной особенностью этой конференции является то, что каждый год на ней выступают представители поисковых систем. О чем были доклады в этот раз — вы можете почитать на Серче (Яндекс, Google). Я же хочу с вами поделиться тем, что удалось выяснить в ходе кулуарного общения после окончания докладов.  Про накрутку подсказок в Яндексе:  Виталий Шаповал: Подсказки накручиваются повсеместно, это становится мейнстримом в поведенческом… Александр Садовский: Там точно есть борьба с накрутками, на сколько там применяются последние алгоритмы – можете спросить Катю (прим: Екатерина Гладких, аналитик в Яндексе), потому что чистят ли там роботов «по старинке», или более современно… Виталий Шаповал: А если по определенному классу запросов, например e-commerce, появился кто-то, кто накручивает, как с этим бороться? Вам рассказывать? Александр Садовский: Пишите примеры, потому что у нас… как минимум для обучения алгоритма собираем базу примеров положительных и отрицательных, лучше обучение проходит.  Про учет дизайна в ранжировании по коммерческим запросам:  Я: В 2011 году, когда вы здесь же презентовали новое «коммерческое ранжирование», говорили про коммерческие оценки асессоров и там упоминали, что есть оценка дизайна сайта. Там есть качество, доверие и было про дизайн. Недавно в Нижнем Новгороде проходил семинар, где выступал ваш коллега из Яндекса – Антон Раменский. Он сказал, что сейчас асессоры ничего такого не оценивают, могли бы вы как-то это прокомментировать? Есть ли сейчас, скажем у асессоров… Для коммерческого ранжирования дизайн вы оцениваете? Александр Садовский: Есть некоторое количество факторов, которые оценивают не дизайн, а юзабилити. Асессор для чего оценивает? Асессор оценивает, чтобы алгоритм обучить. Если алгоритм обучен и веса факторов подобраны, то асессор нужен, чтобы изредка смотреть не изменился ли интернет. Если интернет меняется медленно, то можно делать не регулярно. Я: Грубо говоря, те четыре оценки, которые вы озвучивали, где было и юзабилити и дизайн, у вас это сейчас как-то в один фактор? Александр Садовский: Про юзабилити факторы точно есть. По дизайну не помню, возможно тоже есть. Я: Т.е. Антон мог не совсем корректно сказать? Александр Садовский: Либо не корректно сказать, либо имел ввиду, что асессор напрямую на… Я: Если дословно цитату, то: «сайт попал асессору, и чтобы асессор оценивал хороший, плохой, или не очень дизайн – такого нет»… Александр Садовский: Таких задач у асессоров действительно сейчас нет, это не противоречит моим словам. Я: Грубо говоря, асессоры ставят оценку по релевантности и отдельно, как следует из вашего доклада 2011 года, что как-то оценивает качество сервиса, юзабилити и дизайн. По словам Антона, они сейчас дизайн не оценивают… Это сложный для понимания процесс, как бы сделать хороший дизайн, чтобы и Яндекс понял и пользователю понравилось. Просто, если это сейчас уже не так критично и не оценивается… Александр Садовский: Есть две истории – история про асессоров, которые создают примеры для подражания обучающей выборки и есть история про факторы, которые участвуют в формуле ранжирования. Вот в формуле ранжирования есть факторы про юзабилити – это точно помню, про дизайн – не помню, может есть, может нет. И эти факторы уже были настроены, т.е. мы когда-то оценивали, асессорами, или еще как-то, юзабилити. Мы оценили какое-то количество сайтов, смогли обучить формулу и после этого, эти факторы используются. Для этого не обязательно оценивать каждый раз. Более того, если говорить по большому счету, то задача, которая ставится асессору не обязательно должна быть четко формализована. Если бы даже мы ставили задачу оценить дизайн, оценить юзабилити, то это не значит, что мы бы ставили: посмотрите в этот уголок, если там красное, то это хорошо, если зеленое, то значит плохо. Мы скорее всего бы ставили задачу: вам какой дизайн больше нравится, этот или этот? И человек уже на основании своих вкусов как-то формулировал.  Про количество факторов в формуле.  Сосед: А какое количество факторов сейчас? Александр Садовский: Около тысячи.  Про геопривязку для сайта на уровне URL/раздела.  Я: В Яндекс.Вебмастере существует возможность указать регион на уровне сайта. Существует ли в Яндексе, пускай не ручная, а какая-либо автоматическая классификация региона на уровне URL, или раздела сайта? Допустим, на сайте есть несколько разделов и одному автоматически присваивается регион «Санкт-Петербург», другому такой-то регион… Или на уровне URL, что он чисто про такой-то регион… Александр Садовский: В ручную это указать нельзя… Я: Понятно, что в ручную нельзя, но может быть в автоматическом режиме? Александр Садовский: На сколько помню, до уровней разделов – да, до уровня одной страницы – нет. Я: Грубо говоря, может быть сайт, и у него один раздел Яндекс считает про «Нижний Новгород», другой раздел про «Санкт-Петербург»? Александр Садовский: На сколько я помню, да. Я: А это только для больших сайтов, или даже любой, самый небольшой сайт… Александр Садовский: У нас нет в алгоритмах предпочтений, большой, или маленький сайт.  Про накрутку поведенческий факторы, когда на «мой» сайт конкуренты крутят ПФ, чтобы его пессимизировали.  Сосед: Как защититься от недобросовестной конкуренции? Если конкуренты накручивают поведенческие факторы на наш сайт. Мы четко видим первые сигналы, сообщаем в сапорт Яндекса о такой проблеме, но к сожалению, примерно через 6 месяцев мы видим четкое понижение по позициям. Тематика СРО, такая высоконагруженная. Мы стабильно находились в десятке, увидели, как накручивают поведенческие факторы – это очевидно боты. Существует ли какая-то программа, защиты от недобросовестной конкуренции и как вообще Яндекс может помочь бороться? Александр Садовский: На данный момент нет. Мы боремся с этим тем, что автоматически понижаем, не просто не учитываем какие-то странные клики, или еще что-то, а именно понижаем только когда уверены, что это относится именно к этому сайту. С очень высокой степенью уверенности. Я: Можно я дополню вопрос? Представители разных сервисов по накрутке ПФ, они публично, не однократно заявляли, такую позицию, как «живой щит». Когда они крутят не только сайт своего клиента, но помимо прочего выбирается несколько сайтов, из топ-30 допустим и они крутят их, специально, чтобы Яндекс… ну ему что получается, 5 сайтов за эту накрутку забанить? Там может оказаться мой сайт, он просто попал в этот «живой щит», и это печальная достаточно ситуация. Понятна ваша позиция – защититься от накруток… Александр Садовский: Вы говорите о том, что заказывая какому-то клиенту накрутку, еще накручивается 5 сайтов? Я: Да, причем это публично озвучивается. И вам конечно виднее, но может стоит просто не учитывать, чем банить? Александр Садовский: Во всех случаях, когда мы не уверены – мы не учитываем. Когда мы уверены… Я: Т.е. применяются какие-то дополнительные эвристики, что не только идет ботовый, или какой-то не естественный трафик, есть эвристики, которые еще что-то учитывают на сайте? Александр Садовский: Эвристик там очень много. Действительно, накрутка такого рода – это сложная, но и поведение пользователей, оно не простое. Есть аномалии, которые робот не воспроизводит, а у пользователя они есть. Я: Не уверен что вы ответите… Эти эвристики завязаны на какие-то внешние факторы, или на факторы внутри сайта? Александр Садовский: Не отвечу. Сосед: А что, если накрутка идет не за счет ботов, а за счет людей? Александр Садовский: За счет людей там тоже видны аномалии, просто они другого рода. Сосед: Точно также живым щитом они прикрываются, заявляли, что гарантии даются… Александр Садовский: Ну гарантий дать они не могут.  О том, почему при поиске по сайту может быть на первом месте одна страница, а в органической выдаче другая.  Я: Популярная ситуация, когда при поиске с ограничением по сайту и обычный органический поиск. На сайте есть несколько релевантных документов, в органической выдаче, даже с чистым кешем и куками выдается одна страница, сужаешь поиск до сайта, получаешь другую страницу. С чем это может быть связано? Александр Садовский: Я не помню точно, я допускаю, что с тем просто, учитывается ли как фактор URL. Если например, URL длинный, а домен сам короткий, то может учитываться, как текстовое совпадение маленькое. Я: Сейчас же можно GET параметр добавить в адресную строку
<!—more—>