В Сан-Франциско разработчик Claude предупредил об экзистенциальной угрозе ИИ
Разработчик Claude в документах для выхода на биржу заявил, что передовые ИИ-модели, включая собственные разработки компании, могут представлять экзистенциальную угрозу человечеству.
В Сан-Франциско, где расположена штаб-квартира Anthropic, разработчик нейросети Claude в документах для выхода на биржу заявил, что передовые модели искусственного интеллекта могут представлять экзистенциальную угрозу человечеству. Речь в том числе идёт о системах, созданных самой компанией. Поданные в рамках подготовки к первичному публичному размещению акций бумаги раскрывают перечень существенных рисков для потенциальных инвесторов.
Опасные сценарии
Среди возможных рисков Anthropic назвала способность нейросетей скрывать информацию, манипулировать людьми, прибегать к шантажу и сопротивляться отключению. Перечень содержится в материалах, адресованных инвесторам и регуляторам. Компания не уточнила, насколько вероятна реализация каждого из перечисленных сценариев.
Позиция разработчика
В поданных для IPO документах разработчик Claude отдельно отметил, что даже собственные модели Anthropic не защищены от катастрофических последствий. Оценка приводится в разделе о факторах риска, обязательном для раскрытия перед размещением ценных бумаг.
Компания заявила: «Передовые ИИ-модели, включая собственные разработки, могут представлять экзистенциальную угрозу человечеству». Более подробных сведений о механизмах контроля за работой нейросетей в поданных бумагах нет.
