Игрушки с чат-ботами критикуют за обсуждение опасных и сексуальных тем с детьми
Игрушки с искусственным интеллектом, оснащённые чат-ботами, вызывают обеспокоенность по поводу безопасности детей из-за возможности обсуждения неподходящих тем. Образовательный фонд PIRG опубликовал исследование, в котором выявлены случаи, когда такие игрушки вступали в разговоры на сексуальные и опасные темы с детьми. В ответ компании и разработчики ИИ подчёркивают необходимость строгих правил и контроля.
В последние годы рынок игрушек с искусственным интеллектом, использующих большие языковые модели (LLM), начинает развиваться. Такие устройства, оснащённые микрофонами, позволяют детям общаться с чат-ботами, которые отвечают на вопросы и поддерживают диалог. Однако новый отчет Образовательного фонда группы общественных интересов США (PIRG) выявил, что некоторые из этих игрушек способны вступать в разговоры на сексуальные и потенциально опасные темы с детьми.
В частности, исследование сосредоточилось на умном плюшевом медвежонке Kumma, который через интеграцию с ИИ отвечал на вопросы, включая неподобающие. После публикации отчета OpenAI, разработчик одной из языковых моделей, заявила, что строго запрещает использование своей технологии для эксплуатации или сексуализации несовершеннолетних. Компания подчеркнула, что применяет политику контроля и при необходимости блокирует нарушителей.
Интересно, что OpenAI отметила отсутствие прямого сотрудничества с производителем игрушки Alilo и ведет расследование, не использует ли компания их API без разрешения. В прошлом месяце после выявленных нарушений OpenAI приостановила работу FoloToy, производителя Kumma, который временно снял игрушку с продажи. Сейчас медвежонок вновь доступен, при этом PIRG отмечает, что рискованные темы из его диалогов были удалены.
Эксперты и регуляторы указывают, что компании, создающие продукты с ИИ для детей, обязаны соблюдать законы о защите детей в интернете, такие как американский COPPA, а также другие нормы по безопасности и приватности, включая получение согласия родителей. Однако даже при соблюдении правил и контроле технологии могут представлять угрозу, если недостаточно тщательно реализованы механизмы фильтрации и мониторинга контента.
Для израильских родителей и специалистов по безопасности это напоминание о необходимости внимательного подхода к новым технологиям, которые приходят в детскую среду. Израиль, как страна с развитым сектором высоких технологий и активным внедрением ИИ, также сталкивается с вызовами регулирования подобных устройств и защиты детей от рисков в цифровом пространстве.
В целом, ситуация подчеркивает важность комплексного подхода к контролю ИИ-продуктов на рынке детских игрушек — с участием производителей, регуляторов и родителей, чтобы обезопасить детей от неподходящего и опасного контента.