Yandex Vision OCR. Новые возможности работы с документами

• Таня рассказывает о развитии технологии обработки изображений с текстом.  

• В сервисе Vision и OCR произошли обновления, делающие его удобнее для пользователей.  

• Фокус на распознавании текста для различных объектов, включая документы и рукописный текст.  

• Важность распознавания текста для документов, включая многостраничные PDF-файлы.  

• Цель - извлечение типизированной информации и понимание структуры документов.  

• Рассказ о базовой технологии распознавания текста и её обновлениях.  

• Введение новой функции распознавания рукописного текста.  

• Обзор моделей для анализа документов и распознавания табличных данных.  

• Три основных этапа: детекция строк, расшифровка строк и группировка семантически связанных элементов.  

• Сложности детекции строк: произвольные углы, пересечение строк, рукописный текст.  

• Подходы к детекции объектов и их ограничения.  

• Специфика текстового домена и ограничения подходов к детекции объектов.  

• Решение: предсказание хитмапов для каждого символа и карты соединения символов в строки.  

• Пример работы детекции текста на сложных случаях.  

• Стык компьютерного зрения и обработки естественного языка.  

• Поддержка 48 языков из 10 письменностей.  

• Модель способна распознавать все языки одной письменности.  

• Группировка распознанных строк в семантически связанные элементы.  

• Сложности: глобальный контекст изображения и устойчивость к поворотам.  

• Подход как задача семантической сегментации.  

• Улучшение качества базовой технологии распознавания текста.  

• Рост качества на сложных доменах, таких как монументы.  

• Улучшение работы с многоколоночными текстами и многостраничными PDF-файлами.  

• Введение синхронного распознавания для удобства пользователей.  

• Модель распознает рукописный текст на документах, таких как формы и анкеты.  

• Сложности распознавания рукописного текста по сравнению с печатным.  

• Вариативность почерков и необходимость сильной языковой модели.  

• Модель распознает рукописный текст на русском и английском языках.  

• Возможность распознавания рукописного и печатного текста одновременно.  

• Модель появится в публичном доступе осенью.  

• Возможность извлечения типизированной информации для документов.  

• Примеры документов: паспорт, водительское удостоверение, свидетельство о регистрации транспортного средства.  

• Фокус на создание новых шаблонов для клиентов.  

• Особое внимание уделяется безопасности данных.  

• Обработка данных на сервере и прохождение сертификаций безопасности.  

• Планы по прохождению аудита по ФЗ-152.  

• Модель извлекает структуру табличных данных на фотографиях документов.  

• Определение позиций, количества строк и колонок, а также ячеек.  

• Возможность работы с табличными данными для привычных инструментов.  

• Два этапа: детекция и распознавание структуры таблиц.  

• Сложности детекции таблиц, включая углы и ширину.  

• Проблемы распознавания структуры таблиц, включая объединение ячеек и отсутствие границ.  

• Постоянное улучшение базовой технологии распознавания текста.  

• Фокус на анализе документов и извлечении типизированной информации.  

• Кастомизация модели под конкретные бизнес-кейсы.  

• Призыв к сотрудничеству для улучшения анализа изображений.  

• Возможность использования Vision и OCR без программирования.  

• Работа над созданием коннекторов для упрощения интеграции.  

• Призыв к сотрудничеству для помощи в стыковке технологий.  

• Возможность сканирования документов в Яндекс 360 и Яндекс Почте.  

• Интеграция сканов в письма как текст.  

• Вопросы о распознавании документов в других сервисах.  

• Vision распознает тексты под любыми углами, включая перевернутые.  

• Призыв к пользователям делиться задачами для улучшения качества распознавания.  

• Vision стремится работать на широком классе документов.  

• Возможность распознавания таблиц, нарисованных от руки.  

• Призыв к пользователям делиться задачами для улучшения качества распознавания.  

• Вопрос о распознавании зеркального текста.  

• Пример использования зеркального текста на футболках.  

• Признание, что зеркальное распознавание еще не поддерживается, но это интересная тема.  

• Все проблемы при распознавании таблиц решаемы.