что такое подкрепление собак
Положительное подкрепление в дрессировке собак
Екатерина Кастрицкая, психолог, специалист по анималотерапии, консультант по поведению и благополучию животных
О положительном подкреплении в дрессировке собак мы можем говорить, когда собака в результате совершения «хорошего поступка» получает что-то важное и ценное. Например, собака ложится по команде, и мы награждаем ее лакомством. Во многих странах (тех, которые мы называем цивилизованными) положительное подкрепление давно стало основным, если не единственным приемлемым методом обучения животных, в том числе собак. Чем же хорош этот метод?
Для чего можно использовать положительное подкрепление?
В свое время Э. Торндайк сформулировал «Закон Эффекта», согласно которому в одной и той же ситуации при прочих равных условиях лучше закрепляются те реакции, которые привели к чувству удовлетворения. Также идею о связи поведения с последствиями разрабатывал основатель оперантного научения Б.Ф. Скиннер.
Метод положительного подкрепления основан на том, что поведение, которое подкрепляется, проявляется все чаще. И главный его плюс в том, что удовлетворяется мотивация собаки.
Причем положительное подкрепление не имеет ограничений в сфере использования. То есть мы можем использовать его, чтобы научить собаку (как и любое животное, в принципе способное обучаться) чему угодно и даже чтобы скорректировать проблемное поведение.
Какие аргументы приводят противники положительного подкрепления и почему эти аргументы несостоятельны?
У положительного подкрепления есть и сторонники, и противники. Основные аргументы против использования исключительно положительного подкрепления:
Однако ни один из этих аргументов не является хоть сколько-нибудь состоятельным.
Если говорить о подкупе, то противники положительного подкрепления подменяют понятия. Подкуп – это когда вы показываете собаке лакомство или игрушку и подзываете. Да, во время обучения, чтобы собака поняла, что от нее требуется, мы, безусловно, учим ее подбегать на вкусный кусочек или игрушку – но только на этапе объяснения. А если вы позвали собаку, не подманивая ее, похвалили в момент, когда она отвернулась от других собак или от интересных запахов в траве и побежала к вам, а когда подбежала, играете с ней или угощаете – это не подкуп, а оплата.
Так что о подкупе речь точно не идет.
Те, кто говорят «Мы пробовали положительное подкрепление, но оно не формирует стабильный навык», вероятно, допускали ошибки в дрессировке собак. И одна из таких ошибок – резкое усложнение задачи.
Прежде чем переходить к следующему этапу, нужно убедиться в том, что собака понимает задачу. Если задачу усложнять постепенно, не пропускать важные этапы обучения и правильно выбирать способ мотивации, собака будет показывать отличный результат при обучении методом положительного подкрепления, причем стабильно.
К тому же, в положительном подкреплении используется метод «вариативного подкрепления», когда награда выдается не каждый раз, и собака не знает, получит ли она бонус за выполнение команды. Вариативное подкрепление более действенно, чем выдача приза после каждой команды. Разумеется, этот способ используется, когда навык уже сформирован, и собака точно понимает, чего вы от нее хотите. Это тоже обеспечивает стабильность выполнения команд.
Еще один аргумент противников положительного подкрепления – это «вседозволенность». «Собака сядет на шею!» — возмущаются они. Но вседозволенность – это когда владелец не вмешивается в поведение собаки, и она делает что хочет (хочет – ловит кошек, хочет – грызет обувь и т.п.) Однако, используя положительное подкрепление, мы обучаем собаку, объясняем правила совместного проживания и помогаем приспособиться к разумным ограничениям, подсказывая, каким образом она может удовлетворить свои потребности – просто делаем это гуманно. То есть с вседозволенностью положительное подкрепление тоже не имеет ничего общего.
В чем преимущества положительного подкрепления?
Положительное подкрепление имеет ряд ценных преимуществ по сравнению с другими методами:
Что нужно, чтобы использовать метод положительного подкрепления в дрессировке собаки?
Метод положительного подкрепления можно применять со всеми собаками, так что от собаки требуется лишь достаточно здоровья, чтобы быть в состоянии учиться вообще и освоить те или иные навыки, в частности.
От человека, который принял решение использовать в обучении собаки положительное подкрепление, требуется:
Джон Фишер. О чем думает ваша собака
5. Методика положительного подкрепления
Метод положительного подкрепления можно применять при дрессировке любых животных, но особенно он подходит для собак. Это система, целиком опирающаяся на побудительный мотив (стимул) и отвергающая физическое воздействие или силу в любых их проявлениях. Этим методом могут пользоваться даже дети. Он не требует какого-либо природного дара (таланта) дрессировщика. Он не связан с каким-то особым тоном, выбором подходящего времени, не основан на регулярной практике и не опирается на какую-либо из традиционных теорий дрессировки собак. Все, что требуется – ваш разум и какой-нибудь лакомый кусочек.
Как научить собаку, чтобы она по команде ложилась в каком-нибудь определенном углу комнаты? Для этого существует два способа:
1. Можно бить собаку плеткой всякий раз, когда она пойдет в какой-либо другой угол и вообще бить до тех пор, пока она не усвоит, что указанное вами место – единственное безопасное убежище.
2. Можно дать собаке особенно вкусный кусочек в этом уголке и полностью ее игнорировать, когда она пойдет в какую-то другую часть комнаты.
Я совершенно уверен, что, прочитав эти строки вы сказали себе: «Ну, это рассуждения на уровне здравого смысла. Что тут такого нового?» Разумеется, это здравый смысл. Каждый владелец собаки ежедневно поступает подобным образом и дома, и вне его стен, не задумываясь о том, что и как он делает. Хотя почему-то, когда требуется сделать некоторое усилие и чему-нибудь научить свою собаку, мы становимся в позу дрессировщика и вспоминаем стародавний подход: «Ты собака, я хозяин. Я приказываю, ты подчиняешься».
Когда дома вы подзываете собаку, вы обычно намерены покормить ее или взять на поводок и повести на прогулку, или показать, что вы уронили еду на пол в кухне и хотите, чтоб она все подчистила. Действительно, дома мы редко зовем собаку просто так, обычно это происходит по какой-то причине, и в большинстве случаев выполнение команды сулит собаке что-то приятное. В результате лишь немногие люди жалуются, что собака не идет на зов дома. А в ближайшем парке дело обстоит совсем иначе. Вы гуляете, она свободно бегает, играя с другими собаками, охотится за белками, роется в мусорных урнах, в то время как вы погрузились в собственные мысли. У ворот парка вы зовете ее, чтобы вести домой. И тут она, бросив на вас взгляд, направляется в противоположную сторону. (Такое все мы видим на улице чуть не каждый день.) В этот момент вы говорите себе: «Я должен наконец выдрессировать свою собаку». Вы ее уже выдрессировали. Вы преуспели в том, что научили ее не подходить к вам. Как? Очень просто. Собака быстро усвоила: если она не подойдет, то будет вознаграждена более длительной прогулкой. Если же она к вам подойдет, то лишится удовольствия: ее отведут домой.
Если бы вы применили ваши «домашние приемы» дрессировки команды «Ко мне!», подзывая пса около ворот, давая лакомство и затем делая еще круг по парку, то вскоре, услышав зов, он летел бы к вам пулей. Подкуп? Я называю это здравым смыслом. Сколько раз уже мне приходилось прятать улыбку, когда ко мне обращались люди, которые сталкиваются с проблемами нежелательного поведения своих собак, и я в ответ предлагаю им попробовать награждать собаку за хорошее поведение, вместо того чтобы думать, каким образом наказать ее за нежелательное поведение. Хозяева недоумевают: «Вы хотите сказать, что я должен его подкупать?» По-моему, это довольно забавно: то, чему ученые, психологи и бихевиористы (специалисты по проблемам поведения) придумали замысловатые названия вроде «модификации поведения», «реабилитационная психотерапия», «психология поведения» и так далее, широкой публикой все еще расценивается как подкуп.
Впрочем, на самом деле важно другое – при правильном применении положительное подкрепление весьма эффективно: оно изменяет нежелательное поведение. Существует ряд основополагающих принципов, которые определяют успех применения положительного подкрепления как метода дрессировки. Но прежде чем начать применять эти принципы или законы с помощью специальных обучающих упражнений в процессе дрессировки собак, необходимо рассмотреть отдельно каждую стадию обучения, ее цель и желаемый результат.
Как действует положительное подкрепление
Прежде всего мы вообще должны забыть об упражнениях. Все, что нас интересует для начала – это первый шаг в нужном направлении. Представим себе, например, что мы хотим научить касатку выпрыгивать из воды. Мы даем свисток (команду) и ждем. Затем ждем еще немного, а зачастую бывает, что ждем еще и еще. Очевидно, сначала касатка не имеет представления о том, что от нее требуется, когда звучит свисток. Поэтому нам приходится ждать, чтобы она зачем-нибудь высунула нос из воды. Точно в этот миг мы снова свистим в свисток и даем ей рыбу. Когда она проплывает внизу, мы снова свистим и ждем. Процедура повторяется до тех пор, пока касатка не выйдет на уровень «ага!»: «Ага! Когда я слышу звук свистка, я получаю рыбу». Этот уровень понимания – уровень «ага!» – не может считаться закрепленным, до тех пор вы не добьетесь, чтобы происходило десять из десяти возможных немедленных реакций на свисток. Пока это не достигнуто, не следует переходить к следующему этапу дрессировки.
На первом ее этапе кажется, что прогресс не очень заметен, однако для успеха обучения крайне важно, чтобы каждый этап заканчивался достижением уровня полного понимания. Если вы этого добьетесь, то обнаружите, что, по мере перехода к каждому следующему этапу превращение первоначальной реакции в распознаваемую цепочку движений идет очень быстро. Теперь мы подходим к этапу дрессировки, который называется «формирование». Нам нужно заменить уже сложившуюся цепочку: «свисток – появление носа – обязательная рыбка», новой цепочкой: «свисток – касатка выпрыгивает из воды – рыбка дается иногда». Достигается это следующим образом. Формирование поведения означает, что мы делаем один маленький шаг в нужном направлении и продвигаемся к конечной цели, подкрепляя каждый сделанный шаг. Так мы обеспечиваем безусловное выполнение этой части цепочки, прежде чем двигаться дальше.
Здесь наблюдается интересное явление: выполнение определенных действий, надежно затренированное с помощью вознаграждения, можно сделать еще более четким, если вознаграждение задерживать. Предположим, затренирована такая реакция касатки: на десять свистков она десять раз немедленно высовывает нос из воды. На одиннадцатый раз говорим: «Недостаточно хорошо, рыбы ты не получишь». Можно предположить, что теперь касатка подумает: «Но я всегда получаю рыбку. Наверное, кто-то ее стащил раньше меня. В следующий раз надо живее пошевеливаться». И на двенадцатый раз вы получите более быструю и энергичную реакцию касатки: она высунет из воды всю голову целиком. За это безусловно полагается рыбка, но теперь и в дальнейшем – только за это.
Я намеренно воспользовался примером касатки чтобы подчеркнуть главное: весь процесс обучения может осуществляться без какого-либо физического воздействия. Сначала мы ждем верного шага в нужном направлении и вознаграждаем его, затем закрепляем и придаем законченную форму.
Хозяин: «Какая разница между всем этим и подкупом?» Я: «Подкуп – это использование награды в качестве соблазна, для того чтобы стимулировать движение. Подкрепление – это вознаграждение, получаемое за добровольное движение». Хозяин: «Всегда ли давать награду?» Я: «Прием действует лучше, если вы даете награду не всегда. Когда модель поведения сформирована, только самая быстрая, ярко выраженная и сильная реакция вознаграждается. Иногда ученику придется выполнить отработанную цепочку шесть или семь раз, прежде чем последует вознаграждение». Хозяин: «Обязательно ли давать в награду что-то съедобное?» Я: «Наградой может быть что-то другое, ради чего, с точки зрения ученика, стоит выполнять определенные действия. Было бы бессмысленно пытаться сформировать мое поведение с помощью тарелки капусты, если я терпеть не могу капусту!
Как применять положительное подкрепление
В главе «Как учатся собаки» я рассказал о том, как научил свою первую собаку искать и приносить вещь (соответствует команде «Аппорт!»). Теперь я расскажу вам, как я научил выполнять это задание свою нынешнюю собаку. На обучение моей первой собаки ушло несколько недель, и она так и не научилась выполнять команду по-настоящему хорошо. Это была немецкая овчарка – порода славится хорошей обучаемостью. Моя теперешняя собака выполняет то же задание с огоньком в глазах и невероятной для собаки ее размеров быстротой. Это – японская акита, порода, известная своим упрямством.
Я провел много времени на дрессировочной площадке, в течение ряда недель обучая мою немецкую овчарку. В течение нескольких дней, затрачивая по несколько минут в день, я обучил акита, ни разу даже не встав с кресла. Используя этот метод, я недавно помог проводнику полицейской собаки достичь того же результата при дрессировке немецкой овчарки. Фактически нам потребовалось меньше обычного времени, чтобы довести совершенно необученную собаку до стандарта министерства внутренних дел, причем достигнутые результаты были гораздо выше тех, которых добиваются, применяя обычные методы дрессировки.
Кличка моей собаки – Йоко. Поняли? Джон Йоко. Ей было пятнадцать месяцев, когда я реши научить ее искать и приносить брошенный предмет. Сейчас у меня не остается времени, чтобы самому участвовать с моими собаками в соревнованиях, где собаки демонстрируют свои умения, но я все еще сужу такие состязания. И вот однажды один хозяин-участник обронил мимоходом замечание, которое побудило меня учить мою собаку искать и приносить брошенный предмет. Парень сказал: «Вы никогда не научите акита выполнять эту команду как следует». Когда мне бросают вызов, я загораюсь.
Я сидел за письменным столом в своей приемной, рядом на столе я поставил коробочку с лакомством. Протягивая собаке гантель, я говорил: «Возьми!» Йоко нюхала перекладину, а я говорил: «Хорошая девочка!» – и давал ей угощение. Первое занятие продолжалось около пяти минут, и она получила вознаграждение сразу после быстрой реакции примерно в 60% случаев. В остальных случаях за правильные реакции иногда тоже давалось вознаграждение, но только после того, как собака нюхала стол, карабкалась на меня, лаяла или делала еще что-нибудь, стараясь получить вознаграждение. На следующем занятии в тот же день был достигнут уровень понимания (уровень «ага!»). Йоко тыкалась носом в гантель всякий раз, когда я давал команду. На формирование действия и переход к следующей стадии потребовалось несколько больше времени. В течение четырех занятий по пять минут каждое она пробовала делать самые разные вещи чтобы получить награду. Отношение было: 15%; 25%; 70%; 100%. Теперь я уже требовал, чтобы она не тыкалась в гантель носом, а лизала ее. Не дав ей угощения, когда она в очередной раз лизнула гантель, я попал в точку, что вызвало эффект снежного кома гораздо раньше, чем я сам того ожидал. Она решительно выхватила гантель у меня из рук смотрела на меня, как будто говоря: «Смотри, глупыш, я ее взяла. Давай еду!»
Никто не может заранее определить модель формирования поведения при выполнении задания. Мы можем запланировать известную структурированную последовательность, но при обучении нам придется руководствоваться темпом, который установит само животное. После того как вы вознаградили собаку за определенное движение, оно должно стать единственным движением, за которое дается награда, пока оно не будет затренировано. Йоко сделала больший шаг вперед, чем я ожидал, и, поскольку я ее с энтузиазмом наградил, мне пришлось ждать, чтобы она его повторила. Это отняло меньше времени, чем я ожидал, но надо учесть, что Йоко очень прожорливая собака.
После такого огромного рывка вперед вся цепочка действий формировалась очень легко. Прошло совсем немного времени, и я уже бросал гантель на кушетку в дальнем конце приемной, а Йоко приносила ее по команде и садилась передо мной, держа ее в зубах, гордая. В первый же раз, когда на свежем воздухе я опробовал дать одно из тех упражнений, что предлагаются на состязаниях, она получила бы у меня за их выполнение все десять баллов из десяти. Но кажется, я несколько пристрастен.
Возьмем теперь два простых действия: выполнение команд «Сидеть!» и «Лежать!». Попытаемся, используя наш метод и не применяя силу, научить собаку четко реагировать на данные команды. Чтобы ускорить процесс, необходимо прибегнуть к подкупу. Иными словами, мы показываем награду, чтобы стимулировать движение. Как только достигается этот уровень понимания, мы обращаемся к команде и подаем ее только голосом, затем ждем, чтобы было сделано верное движение. Тогда мы придаем этому движению законченный вид. Для отработки команды «Сидеть!» покажите собаке лакомство, даже дотроньтесь им до кончика ее носа. Скажите: «Сидеть!» – и медленно переместите лакомство вверх и назад, чуть дальше линии глаз собаки. Сложение у собак такое, что если голова поднимается вверх и назад, то задняя часть туловища непременно опускается.
Для отработки команды «Лежать!» выберите такое препятствие, чтобы для его преодоления собаке нужно было лечь на брюхо. Это будет зависеть от размера собаки. Например, для немецкой овчарки подошел бы кофейный столик. Подведите к нему собаку и предложите ей лакомство, держа его в руке под столиком, то есть под препятствием. Когда собака потянется за лакомством, медленно отодвигайте его под препятствием, побуждая собаку двигаться следом и командуя при этом: «Лежать!» В тот момент, когда ее брюхо коснется пола, дайте вознаграждение.
Теперь, когда мы научили свою собаку делать то, чего мы от нее добиваемся, остается отучить ее делать то, что нам не нравится. Для достижения этой цели используем систему отрицательного подкрепления.
Условное подкрепление в дрессировке собак
Здравствуй, читатель! Сегодня речь пойдет о так называемом «условном подкреплении», что это такое и в каких случаях его можно использовать при дрессировке собак.
Безусловный раздражитель.
Если дать нашей собаке кусочек корма, то у нее в пасти начнет выделяться слюна. В данном случае корм можно назвать безусловным раздражителем, поскольку он сразу стимулирует выделение пищеварительного сока – слюны.
Условный раздражитель.
Вскоре, после скармливания собаке нескольких кусочков корма, сам вид корма и его запах будут вызывать у нашей ученицы такое же слюноотделение, как и корм находящийся в пасти.
Эти два новых раздражителя – вид корма и его запах, исследователи назвали условными раздражителями.
Если мы продолжим эксперимент и одновременно с дачей корма произведем какой-либо посторонний звук (колокольчиком, свистком, или произнесем какое-либо слово), то после нескольких сочетаний они тоже будут вызывать у собаки слюноотделение.
Условное подкрепление в дрессировке собак.
Именно эту способность собак к связыванию безусловного (естественного) и условного (нейтрального) раздражителей и используют дрессировщики для создания «инструмента», с помощью которого они могут донести до сознания собаки информацию о «правильном» поведении.
На первом этапе у собаки вырабатывают слюноотделительную реакцию на условный раздражитель (свист, слово «Хорошо», щелчок специального устройства – кликер), многократно сочетая этот сигнал с дачей корма. А затем, начинают подкреплять условным сигналом нужное (правильное) поведение у собаки.
В каких случаях можно применять условное подкрепление при дрессировке собак.
Поскольку мы дрессируем не дикое, а домашнее животное, которое, к тому же находится у нас под контролем, то есть на поводке, то данный метод дрессировки собак имеет ограниченное использование при дрессировке собак.
Мой отец применял его при дрессировке очень агрессивных собак, покусавших своих владельцев. В этом случае, нет возможности сразу пристегнуть поводок к ошейнику собаки, поэтому чтобы наладить с ней контакт надо предварительно создать «язык» общения, понятный для животного.
С помощью метода условного сигнала он также обучал агрессивных собак апортированию гантели, вводя в качестве условного подкрепления слово «Хорошо».
Вот, пожалуй, и все случаи, когда метод условного подкрепления может сослужить хорошую службу.
Метод условного подкрепления в обучении людей
И чтобы вы лучше поняли, как работает метод условного подкрепления, я приведу примеры из нашей, человеческой жизни. Праздничная музыка, полный почтовый ящик, новое сообщение в социальной сети. Сами по себе все эти вещи, казалось бы, ничего не несут. Но они связаны в нашем сознании преимущественно с положительными эмоциями, чем то хорошим. И поэтому могут стать условными подкреплениями. К слову, самое идеальное из них — это деньги, которые связываются в человеческом сознании с какими угодно благами. Получая их, мы радуемся, так как уже ясно представляем, что будем на них покупать. К примеру, когда я получаю деньги, я вижу в воображении покупку нового набора цветных карандашей и бумаги для рисования. Или новый телефон (мой уже изрядно постарел). Или что-нибудь еще не менее приятное.
Для чего нужно условное подкрепление?
Итак, напомню, что основная задача любого подкрепления (положительного, отрицательного) — это дать собаке информацию о том, что нам нравится в ее поведении, а что — нет. Именно поэтому дача любого подкрепления должна быть четкой и понятной для собаки. Например, собака выполнила на большом расстоянии от меня команду «Лежать» и должна тут же получить условный подкрепляющий сигнал о моем одобрении ее действий. Теперь, когда я окажусь рядом с собакой и дам ей кусочек корма (лакомства), она будет знать, за что она получила его.
Особенно распространено условное подкрепление при дрессировке диких животных, таких, как, например, дельфины. На них нельзя надеть ошейник с поводком и подкреплять каждое правильное движение кормом, как в случае с собаками. Надо умудриться дать им сигнал о правильном поведении на расстоянии и в нужный момент. В этом случае, чаще всего используется свисток (он прекрасно слышен и под водой). А уже затем подплывшему дельфину дается пищевое подкрепление — рыбка.
Кликер-дрессировка
На условном подкреплении почти целиком базируется так называемая «кликер-дрессировка». То есть дрессировка с помощью кликера — щелчка. Условным подкреплением в данном случае является щелчок «клик», который заранее связывается у собаки с получением корма.
При отработке цирковых трюков у собаки это незаменимый инструмент обучения.
Подведем итог
Условное подкрепление — это любой сигнал, который заранее связывается у животного с настоящим (истинным, безусловным) подкреплением — кормом, лаской и т.д. и используется, чтобы подкрепить поведение животного тогда, когда трудно (или невозможно) использовать истинное подкрепление.
К примеру, в ситуациях, обучаемое животное находится на расстоянии от дрессировщика и дать ему пищевое подкрепление затруднительно.
Лично я редко использую этот способ, поскольку во время обучения собака практически всегда находится у меня на поводке, а в подкормочной сумке у меня на поясе есть такое безусловное подкрепление как сухой корм, которое всегда работает на «ура».
Друзья, если у вас есть какие-либо вопросы по данной статье или вообще по вопросам дрессировки собак, то задавайте их в комментариях к этой статье, пишите в нашу группу Дрессировка собак ЛИРОС Вконтакте, или на электронную почту ploskovliros@gmail.com
Желаю вам успехов в дрессировке вашей собаки!