Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Бывший разработчик Windows Дэйв Пламмер напомнил о том, что вокруг искусственного интеллекта слишком много лишней мистики. На этот раз специалист показал, как базовые принципы работы современных нейросетей можно продемонстрировать буквально на музейном железе — PDP-11, системе конца 1970-х с процессором 6 МГц и 64 КБ оперативной памяти.

Для эксперимента использовалась модель ATTN/11 — это одноголовый однослойный трансформер, полностью написанный на ассемблере PDP-11.

Проект создал Damien Buret, и его идея довольно проста: не гнаться за мощностью, а показать трансформер в максимально «разобранном» и понятном виде.

Задача у модели с виду совсем скромная — научиться переворачивать последовательность из восьми цифр. Но, как объясняет Пламмер, здесь важен не сам фокус с числами, а принцип: системе нужно уловить структуру правила, а не просто запомнить отдельные примеры. Именно в этом, по сути, и проявляется базовая механика, на которой работают большие языковые модели.

Особенно интересно то, насколько крошечной получилась эта демонстрация. В модели всего 1216 параметров, она использует fixed-point arithmetic, а вычисления для прямого прохода ужаты до 8-битной точности.

Модель смогла добиться 100% точности на задаче разворота последовательностей после примерно 350 шагов обучения. На PDP-11/44 с кеш-платой на это ушло около 3,5 минуты. Для машины такого возраста результат выглядит невероятно хорошим.

Пламмер, в сущности, пытался доказать, что суть современного ИИ в очень большом количестве арифметики, повторений и постепенной коррекции ошибок. Просто сегодня всё это происходит в несравнимо большем масштабе и на куда более мощном железе.

Заодно история красиво бьёт ещё в одну точку: в эпоху, когда индустрия всё чаще упирается в дефицит вычислительных ресурсов, старое доброе искусство оптимизации снова становится особенно ценным.

Подпишитесь на новости

В России предложили создать библиотеку сценариев ответа на кибератаки

Комитет Совета Федерации по экономической политике рекомендовал создать национальную библиотеку типовых сценариев реагирования на кибератаки. Предполагается, что компании смогут использовать её материалы для автоматизации защиты информационных систем.

Как сообщают «Ведомости», рекомендация включена в протокол по итогам октябрьского круглого стола о безопасности критической инфраструктуры. Подлинность документа изданию подтвердил источник в Совфеде.

Комитет предлагает назначить ответственным Минцифры. Однако, по словам собеседника газеты, знакомого с обсуждением, задачу могут поручить ФСБ России. Также рассматриваются отдельные наборы сценариев для разных отраслей. Окончательное решение о создании библиотеки в публикации не приводится.

Консультант по безопасности Positive Technologies Алексей Лукацкий считает, что ресурс может помочь малому и среднему бизнесу, если у специалистов есть навыки его применения. Главной трудностью он называет регулярное обновление сценариев с учётом новых атак и приёмов злоумышленников.

В «К2 Кибербезопасность» отмечают, что крупные компании и центры мониторинга уже используют собственные базы, собранные по результатам расследований.

По мнению Александра Боярского, слишком общие инструкции мало пригодны для дежурной смены, а сценарии под конкретные продукты сложно переносить в другую инфраструктуру. Механическое следование шаблону также может помешать реагированию на нестандартную атаку.

RSS: Новости на портале Anti-Malware.ru