?

Log in

No account? Create an account
Пиар превыше всего -- и в шахматах тоже - Warrax's Fence [entries|archive|friends|userinfo]
Darkhon

[ website | Black Fire Pandemonium ]
[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Пиар превыше всего -- и в шахматах тоже [Dec. 13th, 2017|08:40 am]
Darkhon
[Tags|]

https://t.me/theworldisnoteasy/374

Все уже слышали, что «искусственный интеллект AlphaZero разгромил сильнейший по рейтингу шахматный движок Stockfish», и что «шахматы изменились навсегда, а возможно, не только шахматы, но и весь мир».
Поэтому не буду повторять ни про, якобы, достигнутый AlphaZero астрономический рейтинг, ни про то, что он был достигнут после всего лишь нескольких часов самообучения с нуля, ни про остальной пиаровский треп.

Однако, если почитать не восторги СМИ, а что по этому поводу пишут разработчики шахматных систем, приходишь в полное недоумение.

Например, вот что написал 4 часа назад в своем открытом письме Google DeepMinde один из разработчиков Stockfish https://goo.gl/duCqAc :
— для матча с AlphaZero почему-то была выбрана предыдущая версия Stockfish, играющая существенно слабее последней;
— объем памяти для Stockfish почему-то был уменьшен в 16 раз от минимально необходимого (в 64 раза от оптимального);
— у Stockfish почему-то была отключена принципиально нужная для ее алгоритма функция оценки важности анализируемых позиций.
Короче, - противника AlphaZero связали по рукам и ногам и предложили драться до смерти (что и произошло).
Дипломатично (хотя и наивно) рассчитывая на восстановление справедливости, автор письма пишет о необходимости переиграть матч между AlphaZero и Stockfish при нормальных условиях, чтобы не вводить в заблуждение мировую общественность.
В надежде на переигровку матча и не желая совсем уж ронять престиж Google, автор не включил в свое открытое письмо другие свидетельства мухлежа, активно обсуждаемые на форумах разработчиков https://goo.gl/vrkvsb , https://goo.gl/SERkGa .
О том, что:
— игровое «железо» AlphaZero было в 25-100 раз мощнее «железа» Stockfish;
— свою дебютную книгу у Stockfish отобрали, а тестирование AlphaZero как раз и было разработкой ее дебютной книгой (в результате Stockfish своими первыми 10 ходами постоянно загоняла себя в плохие позиции);
… и много чего еще.

Не знаю, как у вас, а у меня от всей этой истории поганое послевкусие.
Я был бы рад ошибиться, но пока что складывается впечатление, что маркетинговое бабло опять побеждает все: от шахмат и искусственного интеллекта до человеческого интеллекта и порядочности.


linkReply

Comments:
[User Picture]From: wotanhotter
2017-12-13 06:34 am (UTC)
знаешь, если суть сообщения верна - что некая нейросеть самообучилась играть в шахматы, зная только правила - хотя бы на уровне перворазрядника - это уже невероятно крутое достижение, как и предыдущее, связанное с игрой в го. Все прочее это уже мелочи. Даже если сейчас специализированная программа на таком же железе и размажет эту альфу - все равно, во-первых, через пару лет на новом железе альфа уйдет в отрыв, во-вторых, это совершенно разные уровни универсализации. Одно дело, когда программу натаскивали играть лучшие программисты и шахматисты, объясняя детально принципы оценки в каждой ситуации,и другое - когда программа дошла до всего сама. Это как, ну не знаю, сравнивать обычный универсальный компьютер с какой-нибудь очень сложной аналоговой системой, построенной для моделирования одного конкретного процесса. Может на своей задаче она и выиграет, зато больше от нее толку нету. А самообучающаяся нейросеть сможет делать и куда более полезные дела, чем играть в шахматы.

Ну а что потребовался некоторый мухлеж для создания оттенка сенсации - да и фиг с ним. Может, финансы срочно потребовались, или отчитаться перед кем, или еще что. Какая разница. В общем-то предыдущего достижения с го уже более чем хватит, а там вроде никто не обвинял в мухлеже.

(Reply) (Thread)
[User Picture]From: darkhon
2017-12-14 03:37 am (UTC)
Если некая нейросеть самообучилась играть в шахматы -- это прикольно. Но врать -- нехорошо.
Собсно, тут тег про капитализм не просто так: пиар важнее действительности, т.к. более эффективен для выкачивания денег.
(Reply) (Parent) (Thread)
[User Picture]From: wotanhotter
2017-12-14 09:22 am (UTC)
На рекламе и вранье весь мир давно стоит, в чем тут новость? Будто мы и без того не видим, как всякую дичь втирают.
В новости о нейросети интереснее нейросеть, а не то, что ее результаты пришлось приукрасить
(Reply) (Parent) (Thread)
[User Picture]From: son_0f_morning
2017-12-13 01:59 pm (UTC)
Присоединяюсь к предыдущему комментатору.

1. Несомненно в "методике оценки" есть некоторая фора в пользу А0 (например А0 вскрывает некоторые слабые и прежде неизвестные места StockFish)
и некоторый мухлёж в пользу А0, основной:
- отобрали дебютные таблицы
- мало ОЗУ для 64 core
- "неудобный" тайминг 1sec/ход, при котором заставляют делать "чуть-чуть недодуманный" ход.

2. Без этого "мелкого мухлежа" думаю StockFish бы выиграл.

3. Но несмотря на это подобный результат -- это просто мега-круто и почти феноминально.
Он говорит о том, что для узкопрофильной задачи можно довольно быстро сделать специализированную нейросетку, которая будет выполнять свою работу лучше любого в мире человека и на уровне лучших в мире автоматических решений.

4. Несомненно качество игры А0 можно поднять ещё (победить детские болезни + просто увеличить размер, ведь А0 "самообучилась" за 4 часа, что означает, что информационная ёмкость сетки просто была исчерапана).
(Reply) (Thread)
[User Picture]From: darkhon
2017-12-14 03:52 am (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: dragon_ru
2017-12-13 04:16 pm (UTC)
Как мастер FIDE, и неплохой программист, прокомментирую это письмо. Тем более, что там и в переводе слегка наколбасили.

1) Был взят последний официальный релиз. Было ли лучше взять последнюю сборку в главной ветке? Возможно, но тогда было бы обвинение в том, что игра шла против сборки с непротестированными как следует функциями.

2) Надо смотреть, как меняется сила игры в зависимости от размера хеша - при больших размерах выигрыш от того, что в него попадают больше позиций, компенсируется тем, что поиск по нему занимает больше времени.

3) Там была отключена функция перераспределять время с тривиальных ходов на ключевые. То есть, контроль - минута на ход, а не 40 минут на 40 ходов. По моему пониманию, такое ограничение мешало обоим программам, и AlphaZero даже в большей степени.

4) /* игровое «железо» AlphaZero было в 25-100 раз мощнее «железа» Stockfish */

Напрямую сравнивать "железо" трудно - как сравнить процессор и видеокарту? Но если пытаться найти более-менее обьективную метрику (такую, как количество транзисторов, умноженную на тактовую частоту) - то у Stockfish получится даже чуть побольше.

5) /* свою дебютную книгу у Stockfish отобрали, а тестирование AlphaZero как раз и было разработкой ее дебютной книгой (в результате Stockfish своими первыми 10 ходами постоянно загоняла себя в плохие позиции) */

Вообще-то обучение AlphaZero - это разработка эвристик. Ближайший аналог которым - это алгоритмы Stockfish. Модуля, отвечающего за "в такой-то позиции ходи только так" не было ни у одной из программ. И насчет плохих позиций - тоже неправда. Там как раз спор шел в одном из актуальных дебютных вариантов.

Да и сам партии меня как раз убеждают, что AlphaZero сильнее. Такого, чтобы жертвовать материал при непросчитываемых вариантах и неочевидной позиционной компенсации - это чисто человеческий способ игры, но в этом случае поставленный AlphaZero на новый уровень
(Reply) (Thread)
[User Picture]From: son_0f_morning
2017-12-14 06:26 am (UTC)
Как мастер FIDE, и неплохой программист, прокомментирую это письмо. Тем более, что там и в переводе слегка наколбасили.

Простите, а вот вышенаписанное точно не преувеличение?
Просто у вас в ответах (при общей грамотности) есть странные нестыковки
(Reply) (Parent) (Thread)
[User Picture]From: dragon_ru
2017-12-14 06:30 am (UTC)
Топовый рейтинг был 2361, сейчас почти забросил. Работаю на позиции Senior System Engineer, нейросетями по работе не занимаюсь, но интересуюсь для общего развития.

А в чем, конкретно, нестыковки?
(Reply) (Parent) (Thread)
[User Picture]From: son_0f_morning
2017-12-14 06:39 am (UTC)
Термин "кэш", сомнения, что 1Гб памяти мало, сомнения в том, что контроль времени "на ход" плох для текущего СФ.

Ну и в целом СФ был поставлен в нетиповые для решения условия тестированя в то время как затачивался на другие.

Подробнее как до компа доберусь, сейчас нс планшета пишу.
(Reply) (Parent) (Thread)
[User Picture]From: dragon_ru
2017-12-14 01:44 pm (UTC)
/* Термин "кэш" */

Да вроде нигде не использовал. А если вы про хэш (Hash) - то в чем проблема?

/* сомнения, что 1Гб памяти мало */

Так не 1Гб всего, а 1Гб, отведенный на хэш. И тут уже надо смотреть, как он у СФ устроен, и сколько занимает проверка на наличие в нем элемента - О(1) или О(log n). Скорее второе - но фиг его знает. Могу развернуть подробнее, но сейчас времени особо нет - надо идти на работу.

/* сомнения в том, что контроль времени "на ход" плох для текущего СФ */

В плане того, что срубает 20-30 пунктов рейтинга - плох. В плане того, что нейросетке прикрученный к ней time management даст больше (скажем, 50 пунктов) - ни фига не плох.

/* Ну и в целом СФ был поставлен в нетиповые для решения условия тестированя в то время как затачивался на другие. */

Нетиповые - да. Он вообще с 64 ядер много выгоды не получит :) А давать ему меньше ядер - тем более не выход.

И вообще - суть работы там была в том, что "мы научили нейросетку играть в любые игры с полной информацией для двух участников". А СФ - просто попал под горячую руку.
(Reply) (Parent) (Thread)
[User Picture]From: son_0f_morning
2017-12-14 02:01 pm (UTC)
>> Да вроде нигде не использовал. А если вы про хэш (Hash) - то в чем проблема?

Приношу свои извинения.
Это я неправильно прочитал (как кэш) и не по делу на вас наехал. В целом это была основная претензия, остальное о-малое уже.

ПС
Если по прежнему интересно общаться -- могу ответить (в целом и также по пунктам).

Edited at 2017-12-14 02:01 pm (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: dragon_ru
2017-12-15 06:56 am (UTC)
Ничего страшного. Наехать не по делу может всякий, но не каждый способен после этого извиниться.

А детальный ответ по пунктам было бы интересно прочитать.
(Reply) (Parent) (Thread)
[User Picture]From: pilgrim_blog
2017-12-14 05:57 pm (UTC)
каменты отчетливо попахивают илономасковщиной
"это само по себе круто аж ваще, а скоро вот-вот уже не за горами совсем будет прорыв и в целом это новое слово, инновация и гениально"
(Reply) (Thread)
[User Picture]From: darkhon
2017-12-15 01:14 pm (UTC)
...и, главное, "ради такого прогресса и приврать можно".
(Reply) (Parent) (Thread)