Технологія пошуку схожих зображень, Блозі Яндекса

14.09.2015

Технологія пошуку схожих зображень

20 жовтня 2010 року, о 14:47

Пошук зображень в інтернеті вже давно став звичним: користувач очікує від пошукової системи точного, швидкого і повного відповіді так само, як і при пошуку текстової інформації. Більшість популярних пошукових систем слідом за пошуком веб-сторінок з текстовою інформацією почали працювати над пошуком зображень.

Компанія Picsearch випустила першу публічну версію пошуку по зображеннях у вересні 2001 року. У липні того ж року запустив свій пошук Google по картинках. Яндекс.Картинки офіційно відкрилися в липні 2002 року, ставши першим російським пошукачем, які шукають зображення. У листопаді 2003 р. Yahoo! додав праворуч від пошукового рядка меню з опцією пошуку по зображеннях в тому числі.

На початковому етапі свого існування пошук зображень ґрунтувався виключно на отриманні та аналізі метаданих, пов’язаних безпосередньо з зображеннями: атрибутів alt, заголовків сторінок і текстів посилань на зображення. Поступово для пошуку зображень стали враховувати також і текст, розташований на тій же сторінці, що і картинка. Таким чином, задача пошуку зображень деякий час обмежувалася знаходженням усією можливою відноситься до нього текстової інформації, та визначенням ступеня правдоподібності, з якою ця інформація відноситься саме до зображення.

Паралельно з пошуком зображень по метаданих розвивалося, і продовжує успішно розвиватися, інший напрямок – пошук зображень за їх змістом. Цей вид пошуку грунтується на технології комп’ютерного зору. Вона покликана навчити машину дивитися на зображення очима людини, розуміти й аналізувати його вміст, кольору і форми об’єктів, їх текстуру, взаємне розташування. Набір метаданих, що характеризують зображення, обмежений, а комп’ютерне зір дозволяє значно розширити кількість атрибутів, які враховуються при пошуку картинок і ранжируванні результатів.

Наочним прикладом впровадження технології пошуку зображень за змістом є різноманітні фільтри в розширеному пошуку Яндекс.Картинок. переважання кольору, кліпарт, графіка, фотографія, портрет. В основі роботи цих фільтрів – аналіз одного або декількох властивостей зображення: кольори, градієнти, наявність однорідного фону та інші. Кожен раз, коли користувач включає той або інший фільтр, відбувається порівняння всіх знайдених зображень з якоїсь абстрактної моделлю-зразком, яка ідеально відповідає даному типу зображення. Таким чином з результатів пошуку виключаються зображення, що не володіють властивостями цієї ідеальної моделі, або володіють ними не в тій мірі.

Більш складна задача, яка вирішується за допомогою технології пошуку зображень за змістом, — це пошук схожих зображень.

Які картинки більш схожі між собою?

Технологія пошуку схожих зображень, Блозі Яндекса
Технологія пошуку схожих зображень, Блозі Яндекса
Технологія пошуку схожих зображень, Блозі Яндекса

Технологія пошуку схожих зображень, Блозі Яндекса
Технологія пошуку схожих зображень, Блозі Яндекса
Технологія пошуку схожих зображень, Блозі Яндекса

Технологія пошуку схожих зображень, Блозі Яндекса
Технологія пошуку схожих зображень, Блозі Яндекса
Технологія пошуку схожих зображень, Блозі Яндекса

Різні люди по-різному відповідають на це питання. Для одних – важливіше колірна схожість, для інших – схожість форм, для третіх – текстур, а іноді — все разом в однаковій пропорції. Які ж критерії є визначальними? Навіть людина, не кажучи вже про машину, може деколи пояснити, на чому базується його вибір в даному конкретному випадку. Це завжди сукупність факторів при частому домінуванні одного з них. Складність в тому, щоб навчити машину розуміти, який фактор важливіше в кожному конкретному випадку. До того ж при пошуку схожих зображень, на відміну від згаданої вище роботи фільтрів, порівняння щоразу відбувається з новою картинкою-зразком, а не з однією і тією ж моделлю. Для цього потрібно навчити машину аналізувати не окремі властивості зображення, а всю їх сукупність. Вона повинна за соті частки секунди знаходити серед мільйонів проіндексованих картинок зображення, максимально схожі на картинку-зразок, враховуючи при цьому уявлення про схожість у різних користувачів.

На Яндекс.Картинках з’явилася перша версія пошуку схожих зображень. Результати пошуку поряд з більшістю картинок можна побачити посилання «схожі», при натисканні на яку, відкривається сторінка з зображеннями, схожими на вибране. Таким чином, використовуються обидва напрямки пошуку зображень — картинка-зразок шукається за метаінформації, а схожі — з допомогою технології пошуку зображень за їх змістом.

Звичайно, ми будемо вдосконалювати пошук схожих зображень і далі розвивати функціонал Яндекс.Картинок. Результати можна буде побачити найближчим часом :)

Олександр Крайнов, Микола Штуркин і команда Яндекс.Картинок

Короткий опис статті: пошук по картинки Все найцікавіше з життя компанії «Яндекс» та її сервісів

Джерело: Технологія пошуку схожих зображень — Блозі Яндекса