Поиск по дереву методом Монте-Карло

• Объяснение работы алгоритма поиска по дереву Монте-Карло.  

• Четыре этапа: обход дерева, расширение узлов, развертывание и обратное распространение.  

• Пример и задание для расширения алгоритма.  

• Обход дерева: выбор дочернего узла на основе формулы UCB1.  

• Расширение узлов: добавление новых узлов при выборе конечного узла.  

• Процесс внедрения: выбор случайного действия и симуляция до конечного состояния.  

• Пример с нулевым начальным состоянием и доступными действиями.  

• Формула UCB1: среднее значение состояния плюс натуральный логарифм посещений родителей.  

• Настройка начального состояния дерева.  

• Обход дерева и выбор дочернего узла.  

• Развертывание и обратное распространение значений.  

• Пример изменения значений после первой итерации.  

• Выбор дочернего узла на основе UCB1.  

• Развертывание и обратное распространение значений.  

• Пример изменения значений после второй итерации.  

• Выбор дочернего узла и расширение узла.  

• Развертывание и обратное распространение значений.  

• Пример изменения значений после третьей итерации.  

• Выбор дочернего узла и расширение узла.  

• Развертывание и обратное распространение значений.  

• Пример изменения значений после четвертой итерации.  

• Общее количество действий составляет 24.  

• На верхнем уровне общее количество равно 44, а количество посещений - четыре.  

• Алгоритм завершает первые четыре итерации и показывает, что действие два предпочтительнее из-за более высокого среднего значения.  

• Задача алгоритма - работать столько, сколько разрешено, и возвращать лучшее действие.  

• В задании предлагается продолжить поиск и проверить, остается ли действие два предпочтительным после еще нескольких итераций.