Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Экс-разработчик Windows показал работу ИИ на компьютере из 1970-х

Бывший разработчик Windows Дэйв Пламмер напомнил о том, что вокруг искусственного интеллекта слишком много лишней мистики. На этот раз специалист показал, как базовые принципы работы современных нейросетей можно продемонстрировать буквально на музейном железе — PDP-11, системе конца 1970-х с процессором 6 МГц и 64 КБ оперативной памяти.

Для эксперимента использовалась модель ATTN/11 — это одноголовый однослойный трансформер, полностью написанный на ассемблере PDP-11.

Проект создал Damien Buret, и его идея довольно проста: не гнаться за мощностью, а показать трансформер в максимально «разобранном» и понятном виде.

Задача у модели с виду совсем скромная — научиться переворачивать последовательность из восьми цифр. Но, как объясняет Пламмер, здесь важен не сам фокус с числами, а принцип: системе нужно уловить структуру правила, а не просто запомнить отдельные примеры. Именно в этом, по сути, и проявляется базовая механика, на которой работают большие языковые модели.

Особенно интересно то, насколько крошечной получилась эта демонстрация. В модели всего 1216 параметров, она использует fixed-point arithmetic, а вычисления для прямого прохода ужаты до 8-битной точности.

Модель смогла добиться 100% точности на задаче разворота последовательностей после примерно 350 шагов обучения. На PDP-11/44 с кеш-платой на это ушло около 3,5 минуты. Для машины такого возраста результат выглядит невероятно хорошим.

Пламмер, в сущности, пытался доказать, что суть современного ИИ в очень большом количестве арифметики, повторений и постепенной коррекции ошибок. Просто сегодня всё это происходит в несравнимо большем масштабе и на куда более мощном железе.

Заодно история красиво бьёт ещё в одну точку: в эпоху, когда индустрия всё чаще упирается в дефицит вычислительных ресурсов, старое доброе искусство оптимизации снова становится особенно ценным.

В России активизируют кибердружины для защиты детей в Сети

Премьер-министр Михаил Мишустин утвердил комплекс мер по профилактике негативных социальных явлений в детской и молодёжной среде. План рассчитан на ближайшие четыре года и включает 41 мероприятие.

Документ разработала Росмолодёжь при участии федеральных ведомств и регионов.

Среди мер можно найти развитие кибердружин и медиапатрулей, мониторинг интернета, профилактическую работу в школах и вузах, а также проработку механизма ограничения доступа к материалам о нападениях на образовательные организации.

Отдельный блок касается выявления несовершеннолетних, которые могут готовить противоправные действия. В документе говорится о мероприятиях по установлению подростков, «замышляющих противоправные посягательства, направленные на дестабилизацию оперативной обстановки».

В Росмолодёжи пояснили РБК, что речь может идти о разных факторах: от распространения недостоверной информации до вовлечения подростков в несанкционированные мероприятия или диверсионную деятельность.

Минпросвещения, МВД, Росмолодёжь и Росгвардия должны проработать механизм оперативного ограничения распространения в региональных СМИ и популярных сообществах материалов, где описываются нападения на школы, сцены насилия и жестокости среди несовершеннолетних.

Также планируется активнее развивать кибердружины и медиапатрули. По данным Росмолодёжи, такие объединения существуют с 2023 года на базе школ, колледжей, училищ и вузов. Их участники просматривают соцсети, мессенджеры, форумы и видеохостинги в поисках материалов, связанных с суицидом, наркотиками, буллингом, фейками, нападениями на образовательные организации и другим опасным контентом.

Найденные материалы передаются в профильные ведомства, которые уже принимают решения о дальнейших действиях, включая возможную блокировку.

Кроме того, Росмолодёжь и АНО «Центр изучения и сетевого мониторинга среды» будут отслеживать в интернете информацию, направленную на склонение несовершеннолетних к противоправным действиям. Эти же организации должны помогать регионам с программным обеспечением, методиками и экспертным сопровождением.

В Росмолодёжи отдельно отметили, что сейчас блокировка части такого контента затруднена из-за отсутствия прямых правовых оснований. При этом ведомство указывает на рост числа нападений на образовательные организации и проблему подражателей, которые героизируют участников громких инцидентов.

RSS: Новости на портале Anti-Malware.ru