Он потерял зрение и создал ИИ, который помогает незрячим «видеть» мир

20-летний Марк Морад потерял зрение, но это не помешало ему самому освоить программирование и создать приложение, которое теперь помогает незрячим людям понимать, что происходит вокруг них. Разработанным им ScribeMe уже пользуются тысячи человек в 140 странах, пишет Reuters.

Одна из них, 16-летняя сестра Марка Карен, которая тоже полностью потеряла зрение. В июне она отправилась с семьёй на сафари в Кении и смогла следить за происходящим вокруг с помощью ScribeMe и умных очков Meta.

Приложение в реальном времени рассказывало ей, какие животные находятся поблизости, на каком расстоянии они стоят и что делают. Для девушки это стало возможностью получить впечатления от поездки, которые раньше были для неё недоступны.

Идея появилась после собственной потери зрения

Проблемы со зрением у Марка начались в 2018 году. Обследования не позволили поставить точный диагноз, однако врачи предупредили семью о редком неизлечимом заболевании, поражающем зрительный нерв. К концу 2021 года Марк полностью потерял зрение. Его сестра Карен ослепла примерно в тот же период.

Особенно сложно оказалось продолжать учёбу. Обычные программы экранного доступа могли читать текст, но часто не справлялись с диаграммами, графиками, изображениями и формулами. Для Марка, который изучал физику и химию, это означало постоянную зависимость от помощи других людей.

Он пытался связаться с разработчиками зарубежных сервисов, занимавшихся похожими технологиями, но ответа не получил. Тогда Марк решил разобраться сам. Он начал изучать программирование по видеоурокам в интернете и к 2023 году создал рабочую версию собственного приложения.

ScribeMe описывает окружающий мир через камеру

Первоначально ScribeMe помогал работать с документами и визуальными материалами, которые не могли нормально распознавать программы экранного доступа. Постепенно возможности сервиса расширились.

Сегодня пользователь может направить камеру смартфона на окружающие предметы и получать описание того, что находится перед ним. ScribeMe способен распознавать объекты, читать информацию и объяснять происходящее вокруг.

Приложение работает на смартфонах и поддерживает 20 языков. Отдельным этапом стала интеграция с умными очками Meta. Благодаря этому пользователю не нужно постоянно держать телефон перед собой, а руки остаются свободными, например, для использования белой трости.

Для Карен технология уже стала частью обычной жизни. Она использует ScribeMe, чтобы ориентироваться, узнавать окружающие объекты, выбирать одежду и заниматься учёбой.

Приложение можно скачать бесплатно, при этом часть дополнительных возможностей доступна по подписке.

История Марка Морада показывает одно из самых практичных применений современных систем искусственного интеллекта. В этом случае технология не просто распознаёт изображения, а помогает незрячему человеку получать больше информации об окружающем мире и меньше зависеть от помощи других людей.