Создатель AlphaGo, экс-DeepMind говорит, что через 3 года у нас будет сверх интеллект Дэвид Сильвер - создатель AlphaGo, человек, который первым показал, что нейросети способны превзойти людей. Он ушёл из Google DeepMind в январе этого года и основал компанию Ineffable Labs вместе с Лассе Эспехольтом. Он впервые рассказывает о том, чем они занимаются, а именно создают superlerner - систему, которая добывает знание не из интернета, а из собственного опыта. Стартует с нуля, без претрейна на интернет-данных, а в итоге превосходит человеческие знания. Эту систему можно поместить в любой поток опыта, симулированный или физический, и она будет учиться. Сильвер считает, что учиться на человеческих данных - это быстрый, но тупиковый путь. Он помогает на старте, но не даёт пойти дальше человека. Чтобы вырваться вперёд, систему нужно лишить этой подсказки и дать ей учиться самой. Он говорит, что AlphaGo создавали 2 года с участием человека, а когда вывели правильную формулу AlphaZero, то обучали её вообще без человека, и та обошла AlphaGo за несколько часов. Сильвер считает, что контролировать ИИ-агентов через то, что они говорят, больше не работает, они учатся говорить одно, а делать другое. Поэтому в Ineffable думают о другом подходе: пусть суперинтеллекты следят за суперинтеллектами, а заодно выстраивают саму науку о том, как таким системам мирно уживаться друг с другом. При этом в компании хотят разгоняться в симуляции, но в реальном мире действовать осторожно: выходить из симуляции только тогда, когда есть доказательства, что это безопасно.