1. Назначение и классификация методов поисковой оптимизации
В связи со сложностью объектов проектирования критерии качества и ограничения задачи параметрической оптимизации (1.5), как правило, слишком сложны для применения классических методов поиска экстремума. Поэтому на практике предпочтение отдается методам поисковой оптимизации. Рассмотрим основные этапы любого метода поиска.
Исходными данными в методах поиска являются требуемая точность метода и начальная точка поиска Х 0 .Затем выбирается величина шага поиска h, и по некоторому правилу происходит получение новых точек Х k +1 по предыдущей точке Х k , при k = 0,1,2,… Получение новых точек продолжают до тех пор, пока не будет выполнено условие прекращения поиска. Последняя точка поиска считается решением задачи оптимизации. Все точки поиска составляют траекторию поиска.
Методы поиска могут отличаться друг от друга процедурой выбора величины шага h (шаг может быть одинаковым на всех итерациях метода или рассчитываться на каждой итерации), алгоритмом получения новой точки и условием прекращения поиска.
Для методов, использующих постоянную величину шага, h следует выбирать значительно меньше точности h » Öe). Если при выбранной величине шага h не удается получить решение с требуемой точностью, то нужно уменьшить величину шага и продолжить поиск из последней точки имеющейся траектории.
В качестве условий прекращения поиска принято использовать следующие:
все соседние точки поиска хуже, чем предыдущая;
çФ(X k +1) - Ф(X k)ç£ e, то есть значения целевой функции Ф(Х) в соседних точках (новой и предыдущей) отличаются друг от друга на величину не больше, чем требуемая точность e;
то есть все частные производные в новой точке поиска практически равны 0 или отличаются от 0 на величину, не превышающую заданной точности e.
Алгоритм получения новой точки поиска Х k +1 по предыдущей точке Х k свой для каждого из методов поиска, но всякая новая точка поиска должна быть не хуже предыдущей: если задача оптимизации является задачей поиска минимума, то Ф(Х k +1) £ Ф(Х k).
Методы поисковой оптимизации принято классифицировать по порядку производной целевой функции, используемой для получения новых точек. Так, в методах поиска нулевого порядка не требуется вычисления производных, а достаточно самой функции Ф(Х). Методы поиска первого порядка используют первые частные производные, а методы второго порядка используют матрицу вторых производных (матрицу Гессе).
Чем выше порядок производных, тем более обоснованным является выбор новой точки поиска и тем меньше число итераций метода. Но при этом возрастает трудоемкость каждой итерации из-за необходимости численного расчета производных.
Эффективность поискового метода определяют по числу итераций и по количеству вычислений целевой функции Ф(Х) на каждой итерации метода (N). Рассмотрим наиболее распространенные методы поиска, расположив их в порядке уменьшения числа итераций.
Для методов поиска нулевого порядка справедливо следующее: в методе случайного поиска нельзя заранее предсказать количество вычислений Ф(Х) на одной итерации N, а в методе покоординатного спуска N £ 2×n, где n- количество управляемых параметров X = (x1, x2.,…,xn).
Для методов поиска первого порядка справедливы следующие оценки: в градиентном методе с постоянным шагом N=2×n; в градиентном методе с дроблением шага N = 2×n + n 1 , где n 1 – число вычислений Ф(Х), необходимых для проверки условия дробления шага; в методе наискорейшего спуска N=2×n+n 2 , где n 2 – число вычислений Ф(Х), необходимых для расчета оптимальной величины шага; а в методе Давидона – Флетчера - Пауэлла (ДФП) N = 2× n + n 3 , где n 3 – число вычислений Ф(Х), необходимых для расчета матрицы, приближающей матрицу Гессе (для величин n 1 , n 2 , n 3 справедливо соотношение n 1 < n 2 << n 3).
И, наконец, в методе второго порядка - методе Ньютона N = 3×n 2 . При получении данных оценок предполагается приближенное вычисление производных по формулам конечных разностей / 6 /:
то есть для вычисления производной первого порядка нужно знать два значения целевой функции Ф(Х) в соседних точках, а для второй производной – значения функции в трех точках.
На практике широкое применение нашли метод наискорейшего спуска и метод ДФП, как методы с оптимальным соотношением числа итераций и их трудоемкости.
2. Методы поиска нулевого порядка
2.1. Метод случайного поиска
В методе случайного поиска исходными данными являются требуемая точность метода e, начальная точка поиска Х 0 = (x1 0 , x2. 0 ,…,xn 0) и величина шага поиска h. Поиск новых точек производится в случайном направлении, на котором и откладывается заданный шаг h (рис. 2.1), таким образом получают пробную точку Х ^ и проверяют, является ли пробная точка лучшей, чем предыдущая точка поиска. Для задачи поиска минимума это означает, что
Ф(Х ^) £ Ф(Х k) , k = 0,1,2… (2.4)
Если условие (2.4) выполнено, то пробную точку включают в траекторию поиска Х k +1 = Х ^ . В противном случае, пробную точку исключают из рассмотрения и производят выбор нового случайного направления из точки Х k , k = 0,1,2,.
Несмотря на простоту данного метода, его главным недостатком является тот факт, что заранее неизвестно, сколько случайных направлений потребуется для получения новой точки траектории поиска Х k +1 , что делает затраты на проведение одной итерации слишком большими. Кроме того, поскольку при выборе направления поиска не используется информация о целевой функции Ф(Х), число итераций в методе случайного поиска очень велико.
В связи с этим метод случайного поиска используется для исследования малоизученных объектов проектирования и для выхода из зоны притяжения локального минимума при поиске глобального экстремума целевой функции /6/.
2.2. Метод покоординатного спуска
В отличие от метода случайного поиска, в методе покоординатного спуска в качестве возможных направлений поиска выбирают направления, параллельные осям координат, причем движение возможно как в сторону увеличения, так и уменьшения значения координаты.
Исходными данными в методе покоординатного спуска являются величина шага h и начальная точка поиска Х 0 = (x1 0 , x2. 0 ,…,xn 0). Движение начинаем из точки Х 0 вдоль оси x1 в сторону увеличения координаты. Получим пробную точку Х ^ с координатами (x1 0 +h, x2 0 ,…,xn 0), при k = 0.
Сравним значение функции Ф(Х ^) с значением функции в предыдущей точке поиска Х k . Если Ф(Х ^) £ Ф(Х k) (мы предполагаем, что требуется решить задачу минимизации целевой функции Ф(Х)), то пробную точку включают в траекторию поиска (Х k +1 = Х ^).
В противном случае, пробную точку исключаем из рассмотрения и получаем новую пробную точку, двигаясь вдоль оси x1 в сторону уменьшения координаты. Получим пробную точку Х ^ = (x1 k -h, x2. k ,…,xn k). Проверяем, если Ф(Х ^) > Ф(Х k), то продолжаем движение вдоль оси x 2 в сторону увеличения координаты. Получим пробную точку Х ^ = (x1 k , x2. k +h,…,xn k) и т.д. При построении траектории поиска повторное движение по точкам, вошедшим в траекторию поиска, запрещено. Получение новых точек в методе покоординатного спуска продолжается до тех пор, пока не будет получена точка Х k , для которой все соседние 2×n пробных точек (по всем направлениям x1, x2.,…,xn в сторону увеличения и уменьшения значения каждой координаты) будут хуже, то есть Ф(Х ^) > Ф(Х k). Тогда поиск прекращается и в качестве точки минимума выбирается последняя точка траектории поиска Х* = Х k .
3. Методы поиска первого порядка
3.1. Структура градиентного метода поиска
В методах поиска первого порядка в качестве направления поиска максимума целевой функции Ф(Х) выбирается вектор градиент целевой функции grad (Ф(Х k)), для поиска минимума – вектор антиградиент -grad (Ф(Х k)). При этом используется свойство вектора градиента указывать направление наискорейшего изменения функции:
Для изучения методов поиска первого порядка важно также следующее свойство: вектор градиент grad (Ф(Х k)) направлен по нормали к линии уровня функции Ф(Х) в точке Х k (см. рис. 2.4). Линии уровня – это кривые, на которых функция принимает постоянное значение (Ф(Х) = соnst).
В данной главе мы рассмотрим 5 модификаций градиентного метода:
градиентный метод с постоянным шагом,
градиентный метод с дроблением шага,
метод наискорейшего спуска,
метод Давидона-Флетчера-Пауэлла,
двухуровневый адаптивный метод.
3.2. Градиентный метод с постоянным шагом
В градиентном методе с постоянным шагом исходными данными являются требуемая точность e, начальная точка поиска Х 0 и шаг поиска h.
Получение новых точек производится по формуле.
Термин поисковая оптимизация происходит от английского “search engines optimization” – “оптимизация под поисковые машины”. Данное направление в последние годы получает все более широкое развитие в Рунете и представляет один из основных и наиболее действенных методов, отвечающих за успешность любого Интернет-проекта.
Эффект – стабильные высокие позиции в поисковых системах.
Исправление ошибок в навигации сайта и редактирование программного кода – это работа над внутренними факторами сайта, влияющими как на удобство сайта для пользователей, так и на его “дружественность” по отношению к роботам поисковых систем.
Наращивание контента – добавление новых страниц, содержащих полезную для целевых посетителей информацию.
Размещение ссылок на тематических ресурсах отличается от хаотичного обмена ссылками тем, что ссылки публикуются только на сайтах, посетителей которых может действительно заинтересовать информация, размещенная на страницах Вашего сайта.
Использование “белой” оптимизации, как правило, приводит не только к повышению сайта на первых позициях, но и увеличению посетителей сайта в несколько десятков раз.
Многие SEO специалисты рассказывают о всяких волшебных способах «вывода сайта в ТОП-3 за две недели». Любой вдумчивый руководитель давно знает принцип бесплатного сыра и понимает, что качественная работа всегда стоит дорого. Главный принцип поисковой оптимизации прост - будь уникальней, быстрее и авторитетней конкурентов. В руках умелого профессионала SEO инструменты могут стать причиной роста посещаемости и конверсии, а работа самоучки может закончится баном сайта и катастрофой для Вашей кампании.
Внутренняя оптимизация сайта
Структура ресурса - один из наиглавнейших элементов раскрутки. Если теги страниц не приведены в соответствие с популярными запросами, а ссылочная карта разработана неграмотно - ни покупка ссылок, ни увеличенное поведение не помогут сайту оказаться на вершине. Внутренняя оптимизация - это кропотливая работа по анализу и доработке материалов до необходимой грани - между удобством чтения пользователя и насыщенностью важными ключевыми фразами. О качестве текстов можно дополнительно прочитать в этой статье.
Наращивание ссылочной массы
Рейтинг цитирования и авторитетности ресурса - это количество ссылок, оставленных пользователями на внешних источниках. По идее, органическая ссылка - это рекомендация для поисковой системы, знак того, что страница, на которую ссылаются - качественная и заслуживает доверия. Естественно, такой подход к ранжированию авторитета сайтов породил огромный рынок торговцев ссылками и огромное количество ресурсов, целью которых является лишь увеличение ссылочной массы за деньги, ее искусственное наращивание. Поисковые машины Google и Яндекс борются с подобными линкоброкерами, исключая их из результатов выдачи, и снижая важность их ссылок до нуля. В 2013 году имеет смысл покупка лишь качественных, постоянных ссылок с авторитетных ресурсов (большой возраст имени домена, высокий PR, наличие в крупных каталогах и огромная посещаемость). Такие ссылки стоят дорого, однако, они приносят дополнительную посещаемость и практически гарантируют высокий рейтинг Вашего сайта.
Эмуляция поведенческий факторов
Важнейший тренд нового года - поиск начинает ориентироваться на людей. Многие специалисты по оптимизации уже давно с успехом применяют эмуляцию поведенческих факторов. Например, если юзер вводит запрос «Самый вкусный кофе в городе» и находит страницу «Кофейни 1», переходит на него, смотрит несколько страниц в течении 3-10 минут, а затем переходит добавляет страничку в избранное - это хороший знак для поисковой машины о том, что «Кофейня 1» действительно хорошая. Рассмотрим другой пример. По тому же запросу есть позиция «Кофейни 2», с которой пользователи убегают через 15 секунд и больше никогда не возвращаются. Это - огромный минус, который доказывает, что «Кофейня 2» уныла и неинтересна. Умело оперируя этими знаниями, грамотный SEO-специалист может быстро и без колоссальных вложений поднять ресурс в TOP10 или даже TOP3.
Социальный маркетинг
Отдельная тема - оптимизация сайта под нужды социальных сетей (так называемое SEO 2.0). Основная идея этих мер - написание и вброс в соц.сети информации, которая побуждает к обсуждению и, как следствие, росту посещаемости. Также к социальному маркетингу можно отнести пользовательские лайки (Google+, Facebook). Клики ваших посетителей по кнопкам этих сетей могут и повысят Ваши позиции в выдаче.
Лекция 5. Оптимизация информационного поиска: рекомендации
Процесс поиска информации обычно носит эмпирический характер. При этом поведение пользователя, как организующее начало управления процессом поиска, мотивируется:
- информационной потребностью,
- разнообразием стратегий, технологий и средств, предоставляемых системой.
Чтобы оценить адекватность выражения запроса и полноту получаемого результата, пользователь может:
- отыскать дополнительные сведения,
- организовать процесс поиска так, чтобы часть результатов поиска могла использоваться для подтверждения или отрицания адекватности другой части.
Операционными объектами, непосредственно участвующими во взаимодействии пользователей с поисковой системой являются поисковый образ документа и поисковой образ запроса .
Поисковый образ документа - описание документа, выраженное средствами информационно-поискового языка и характеризующее основное смысловое содержание или какие-либо другие признаки этого документа, необходимые для его поиска по запросу.
Технологии поиска информации - п оисковые средства и технологии, используемые для реализации информационных потребностей. Определяются типом решаемой библиотекарем задачи: соотношением его знания и незнания об исследуемом объекте. Кроме того, процесс взаимодействия библиотекаря с системой определяется уровнем его знания функциональных возможностей системы как инструмента и знания содержания ресурса (полноты представления информации, достоверности источника и т.д.).
Процедуру поиска необходимой информации необходимо разделить на четыре основных этапа:
1. Организация поиска
- определение области знаний;
- выбор типа и источников данных;
2. Осуществление поискового процесса
- организация поиска по начальным фрагментам слова,
- формулировка «поискового образа»,
- итоговый уточняющий поиск
Общепринята организация поиска по начальным фрагментам слова (поиск с усечением справа). Например, вместо слова «библиотечный» можно ввести его фрагмент « библиоте*». При этом будут найдены документы, в которых содержится не только слово « библиотечный», но и « библиотека», « библиотекарь», « библиотековедение» и др. В каждом отдельном случае библиотекарь должен четко представлять, что нужно найти («формулировка поискового образа» ), так как в предложенном ему варианте будет найдено гораздо большее количество документов, чем при задании слова полностью (без усечения). В полученном массиве информации можно провести уточняющий поиск и в результате получить более релевантные и пертинентные данные.
3. Оценка результатов поиска
Результат поиска должен удовлетворять требованиям:
- единственности,
- полноты,
- непротиворечивости
Различные виды поиска определяют различные требования к функциональным возможностям поисковой системы в части оценивания результата. Однако, для случая предметного поиска доказательство полноты является априорным: сам результат поиска подтверждает факт существования (или отсутствия) объекта, обладающего искомыми свойствами. При этом результат тематического поиска множественен и требует последующей систематизации - ещё одного процедурного шага для упорядочения полученного множества объектов по значениям не определенного явно основания. В свою очередь, проблемный поиск предполагает уже двухуровневую систематизацию.
Усложнение, конкретизация и детализация запроса, в случае неудовлетворительного ответа, осуществляются путем модификации поискового образа, то есть реформулирования запроса и проведения повторного поиска в том же массиве данных, что был получен в результате осуществления первоначального поиска. Один и тот же запрос желательно перепроверять в разных посковых системах (например, сочетание Google и Яндекса).
4. Обработка результатов поиска
- отбор наиболее полезной информации;
- выбор метода обработки информации
- поиск закономерностей, формальных правил и структурных связей в собранной информации;
- творческая интерпретация полученных результатов;
- интеграция извлеченных «знаний».
Развитие процесса поиска осуществляется путем модификации выражения ПОЗ, путем реформулирования запроса и проведения повторного поиска в том же массиве данных или в подмассиве, полученном в результате осуществления первоначального поиска.
Методы обработки результатов поиска
По характеру преобразований (в контексте дальнейшего использования результатов обработки) методы обработки результатов поиска можно условно разделить на две группы:
- Структурно-форматные преобразования;
- Информационно-аналитические (логико-семантические, структурно-семантические преобразования).
Непосредственно для поиска используются поисковые машины, число которых в мире исчисляется несколькими сотнями. Они ориентируются на определенные типы запросов или их сочетание (библиографический, адресный, фактографический, тематический и др.). Кроме того, бывают полнотекстовые, смешанные и другие поисковые машины.
Список литературы
Какие задачи решает оптимизация для поисковых машин
Поисковые машины сегодня являются важнейшим инструментом навигации в Интернете. С их помощью в Сети ищут информацию, сравнивают, анализируют, спрашивают совета, ищут единомышленников, знакомых и даже смысл жизни. Если ранее более популярным инструментом навигации в Интернете были каталоги, то сегодня их объемы и разветвленность, растущие вслед за нарастанием объемов информации, настолько разрослись, что они либо стали чрезмерно сложными для пользователя, либо содержат очень мало информации. При этом за последние несколько лет существенно улучшилось качество поисковых машин. Поэтому неудивительно, что пользователи массово переключились именно на поисковые машины.
Став наиболее популярными сайтами в Интернете, поисковые системы получили дополнительный эффект размера. Теперь это не только самые посещаемые сайты, но и самые известные. В итоге, когда пользователь в первый раз выходит в Интернет, сначала он идет на тот сайт, который ему уже известен от друзей, из прессы или из рекламы в офлайне, то есть на поисковую машину.
Такое положение вещей сохранится еще в течение долгого времени, так как существенная доля пользователей не очень хорошо знакома с компьютером вообще, и число таких пользователей в нашей стране, видимо, растет. Не слишком подкованные интернетчики используют поисковую строчку машины в качестве навигационной строки браузера. Многие пользователи вообще не различают понятия «Интернет» и «поисковая машина». Это хорошо видно по количеству поисковых запросов, содержащих адрес сайта.
Поэтому для многих компаний так важна такая оптимизация сайта, как процесс достижения первых мест в результатах поиска в поисковых машинах по целевым для компании запросам. Почему важно занять одно из первых мест? Потому что пользователи в среднем просматривают одну страницу результатов поиска и редко переходят на сайты, ссылки на которых есть только на второй странице и дальше.
Да что там вторая страница! Исследование переходов пользователей из результатов поиска системы Яндекс, проведенное несколько лет назад компаниями SpyLOG и «Ашманов и партнеры», показало, что доля переходов, которую можно ожидать на седьмой строке, стремится к нулю, то есть сайты, оказавшиеся ниже шестого места в результатах поиска, – тоже «за бортом». Над результатами поиска стоят рекламные строчки, которых становится все больше со временем. Они тоже уменьшают количество переходов, которое достается сайтам в результатах поиска, потому что для пользователей это тоже результаты поиска.
К слову сказать, для североамериканских сайтов доля переходов с поисковых машин от всех переходов в среднем составляет 60 %, а для корпоративных сайтов – и того выше. То есть более половины всех посетителей получают средний сайт с поисковой машины. В русскоязычном Интернете доля поискового трафика ниже, однако все равно очень велика и постоянно растет.
Именно поэтому оптимизация сегодня – большой, разветвленный рынок услуг, игроков на котором существенно больше, чем на рынке интернет-рекламы. А объем этого рынка услуг в Росиии за 2008 г. оценивается в 200 млн долл., что всего лишь втрое меньше рынка рекламы. А как же иначе, если эффективность этого маркетингового метода никак не ниже других инструментов рекламы в Интернете!
Оптимизация – это набор технических приемов и методов, которые позволяют достичь верхних строчек в результатах поиска. Все приемы оптимизации открыты и описаны на многочисленных форумах, специализированных сайтах оптимизаторов и в бесчисленных статьях. Очень важно, что никаких «тайных» способов оптимизации нет. Здесь все прозрачно и давно известно. Наибольшее значение в скорости получения результатов оптимизации имеет опыт оптимизатора, то есть умение быстро оценить ситуацию и выбрать правильные методы работы, однако даже новичок, вооруженный терпением и усидчивостью, может достичь превосходных результатов.
НАЧИНАЯ ПРОЦЕСС ОПТИМИЗАЦИИ, ЧЕТКО ОСОЗНАЙТЕ СЛЕДУЮЩИЕ МОМЕНТЫ.
1. Это путь проб и ошибок. Несмотря на то что есть довольно точные «рецепты успеха», в каждом конкретном случае они могут «не сработать», причем вероятность их срабатывания тем ниже, чем больше коллег-оптимизаторов трудятся над теми же поисковыми словами и в том же секторе рынка. Необходимо пробовать все способы оптимизации для достижения результата.
2. Оптимизация – это долгий процесс. Даже если быстро внести изменения в сайт, поисковый робот обновит информацию о сайте в базе не сразу, а в лучшем случае через несколько дней, скорее даже через неделю. Именно поэтому процесс оптимизации обычно затягивается на многие месяцы и все результаты приходят очень постепенно.
3. Оптимизация – очень кропотливый процесс, где надо учитывать множество факторов: особенности каждой поисковой машины, особенности рынка, на котором работает компания, активность конкурентов и действия, которые они предпринимают, и проч. Более того, все эти факторы необходимо учитывать постоянно, а не один раз при запуске.
4. Оптимизация – это нестабильный процесс. Алгоритмы поисковых машин постоянно меняются, кроме этого, меняется и ландшафт рынка за счет конкурентов и тех действий по оптимизации, которые они предпринимают. Поэтому те успехи, которых компания добилась несколько дней (недель) назад, сегодня могут превратиться в ничто. Следовательно, оптимизацией необходимо заниматься постоянно.
5. Поисковые машины сопротивляются усилиям оптимизаторов, поскольку они ухудшают качество поиска. Жестко и в одностороннем порядке поисковые машины регламентируют допустимое поведение оптимизаторов и бесцеремонно удаляют из результатов поиска (поисковой выдачи) сайты, которые, по их мнению, эти правила не соблюдают. Более того, эти правила не публикуются и постоянно меняются, так что любое действие по оптимизации завтра может оказаться «вне закона».
Почему поисковые машины борются с оптимизаторами?
В результате действий оптимизаторов результаты поиска изменяются. Из поиска исчезают или уходят вниз случайные результаты – ссылки на форумы, ссылки на давно исчезнувшие страницы. От этого поиск, несомненно, становится лучше: повышается его точность. Однако одновременно в результатах резко уменьшается полнота, то есть охват поисковой машиной различных тематик, связанных с поисковым запросом. Например, запрос «автомобиль» включает в себя целый спектр различных интересов: покупка нового или подержанного авто, прокат, ремонт, устройство, запчасти, история, реферат, виды и т. д. и т. п. В то же время поисковые машины все как один выдают либо продажу (новых, подержанных), либо прокат автомобилей. В редких случаях попадается еще и продажа запчастей. Таким образом, более половины возможных интересов пользователей выпало из результатов поиска (на первых нескольких страницах), то есть многие пользователи не получают нужной им информации и будут вынуждены их неоднократно уточнять. Сравните результаты поиска по одному и тому же слову на поисковой машине Яндекс (рис. 5.9) или Google с результатами поиска Nigma (рис 5.8) – машины, которая кластеризует результаты поиска по разным тематикам, – вы увидите, насколько мало разных тем попадает на первые страницы поиска «больших» поисковых машин.
