ОМ Непростой журнал
Уже во второй половине 2017 года компания Mobileye, которая занимается производством систем безопасности для крупнейших мировых автопроизводителей, совместно с Intel и BMW выпустят на дороги автомобили, бортовые компьютеры которых будут самостоятельно учиться ездить. Автомобили должны будут научиться передвигаться по загруженным перекресткам и самостоятельно парковаться.
Для этого машины будут пользоваться технологией стимулированного обучения (reinforcement learning). Её создатели вдохновлялись механизмами обучения у животных: детеныш запоминает и повторяет поступки, за которые его хвалят или вознаграждают.
Технологии стимулированного обучения не нужен программист и даже специально подобранные примеры: от человека требуется только описать цель и дать алгоритму возможность, экспериментируя, написать самого себя. Программа запоминает наиболее эффективные модели поведения и начинает использовать их чаще других. Именно стимулированное обучение помогло научить компьютеры делать трудно алгоритмизируемые вещи — например, играть в го.
Для беспилотного автомобиля целью может быть проезд через перекресток или переход в нужный ряд. По словам директора Американского центра мобильности (некоммерческой организации, созданной для разработки стандартов автоматизации) Джеймса Мэддокса, главное — научить беспилотные автомобили взаимодействовать с водителями-людьми. «Система должна учиться не только на собственном опыте, но и на опыте других водителей», — объясняет Мэддокс MIT Technology Review.
Пока стимулированное обучение существует только в виде компьютерной симуляции. Вице-президент Mobileye по технологическим вопросам Шай Шалев-Шварц (Shai Shalev-Shwartz) рассказывает, например, об одной проблемной ситуации, возникшей во время тестирования на виртуальных дорогах: на перекрестке двух дорог сразу несколько беспилотных машин сталкиваются, не сумев правильно определить, в каком порядке трогаться. «Нам нужно найти баланс между настойчивостью и осторожностью в поведении беспилотников, — рассказывает Шалев-Шварц, — если мы будем слишком осторожны, то никогда не сдвинемся с места, а если будем вести себя слишком агрессивно, попадем в аварию. Нужно уметь общаться с другими водителями. Нельзя просто следовать правилам — необходимо знать правила, по которым люди нарушают правила».
