Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Бывший разработчик Windows Дэйв Пламмер напомнил о том, что вокруг искусственного интеллекта слишком много лишней мистики. На этот раз специалист показал, как базовые принципы работы современных нейросетей можно продемонстрировать буквально на музейном железе — PDP-11, системе конца 1970-х с процессором 6 МГц и 64 КБ оперативной памяти.

Для эксперимента использовалась модель ATTN/11 — это одноголовый однослойный трансформер, полностью написанный на ассемблере PDP-11.

Проект создал Damien Buret, и его идея довольно проста: не гнаться за мощностью, а показать трансформер в максимально «разобранном» и понятном виде.

Задача у модели с виду совсем скромная — научиться переворачивать последовательность из восьми цифр. Но, как объясняет Пламмер, здесь важен не сам фокус с числами, а принцип: системе нужно уловить структуру правила, а не просто запомнить отдельные примеры. Именно в этом, по сути, и проявляется базовая механика, на которой работают большие языковые модели.

Особенно интересно то, насколько крошечной получилась эта демонстрация. В модели всего 1216 параметров, она использует fixed-point arithmetic, а вычисления для прямого прохода ужаты до 8-битной точности.

Модель смогла добиться 100% точности на задаче разворота последовательностей после примерно 350 шагов обучения. На PDP-11/44 с кеш-платой на это ушло около 3,5 минуты. Для машины такого возраста результат выглядит невероятно хорошим.

Пламмер, в сущности, пытался доказать, что суть современного ИИ в очень большом количестве арифметики, повторений и постепенной коррекции ошибок. Просто сегодня всё это происходит в несравнимо большем масштабе и на куда более мощном железе.

Заодно история красиво бьёт ещё в одну точку: в эпоху, когда индустрия всё чаще упирается в дефицит вычислительных ресурсов, старое доброе искусство оптимизации снова становится особенно ценным.

Ozon Банк, Яндекс Банк и WB Банк попали под новые санкции ЕС

Евросоюз утвердил 21-й пакет санкций против России — под ограничения попали сразу 94 банка, Московская биржа и несколько платёжных организаций. Финансовый сектор получил внушительный чёрный список, но его участники хором отвечают: работаем как обычно.

С 23 июля санкции действуют против Россельхозбанка, «Дом.рф», «МТС-банка», «Ак Барса», «Уралсиба», «Зенита», «Абсолют банка», WB Банка, Ozon Банка, «Точки», «Яндекс Банка», «Почта Банка» и других организаций.

В список также включили НКО «Мобильная карта» и РНКО «Платёжный Центр».

Персональные ограничения затронули зампреда Банка России Сергея Белова, главу РЖД Олега Белозёрова и других лиц. Кроме финансов, новый пакет касается энергетики, торговли и криптовалют.

Московская биржа заявила, что торги и расчёты продолжатся без изменений. Ozon Банк, «Точка» и «Финам» тоже заверили клиентов, что сервисы и платежи работают в штатном режиме. Брокер «Финам» под санкции не попал. АФК «Система» назвала решение ЕС незаконным и пообещала справиться с ограничениями.

Однако первые неудобства уже появились. Платёжная система «Золотая Корона» остановила переводы в Грузию и ряд других стран: в поддержке подтвердили, что некоторые направления временно недоступны.

Следующим сюрпризом может стать исчезновение банковских приложений из App Store и Google Play. Ранее после санкций из магазинов уже удаляли приложения российских банков и VK. Пока это лишь вероятный сценарий, но владельцам затронутых банков лучше не спешить удалять установленные приложения.

В российской миссии при ЕС предупредили об адекватном ответе.

RSS: Новости на портале Anti-Malware.ru