Проблеми використання роботів (Укр.)

Нацональний унверситет Киво-Могилянська АкадемяДепартамент комп ютерних технологй Кафедра нформатики Проблеми використання роботв в нтернетРеферат з курсуПрограмне забезпечення нтелектуальних системстудента ДКТ-5Пдгорного СвтославаВикладачГороховський С. С. Кив2002Вступ 3 Використання роботв 3 Статистичний аналз 4 Пдтримка 4 Дзеркала 5 Пошук ресурсв 6 Комбноване використання 7 Цна використання та застереження 7 Ресурси мереж та завантаження серверв 7 Оновлення 8 Поган реалзац 10 Ведення каталогу 11 Забагато матералу, що забагато динамчним. 11 Визначення що ндексувати, а що н. 11 Статистичний аналз 13 Етика 13 Альтернативи для пошуку ресурсв 15 Висновок 16 Лтература 18 Вступ Всесвтня павутина стала дуже популярною за останн деклька рокв, зараз основним засобом розмщення нформац в нтернет.

Коли розмр WWW збльшився вд деклькох десяткв сайтв, стало зрозумло, що людина не в змоз самостйно переглянути таку кльксть сайтв, тим паче знайти нов. Тому почалися розробки програм, що автоматично переглядають WWW. Така програма-робот передивляться нтернет сторнка за сторнкою, йдучи за посиланнями на нш сторнки.

Роботв також називають павуками spiders або черв яками worms, але ц назви дають хибне враження, що роботи пересуваються сам, або, що вони копюють себе, як вдом нтернет-черви.

Насправд, робот це одна програмна система, що отриму нформацю з нтернет сайтв використовуючи стандартн протоколи WWW. Використання роботв Переглядаючи нтернет, роботи можуть виконувати так функц Статистичний аналз Найперш роботи були створен для пдрахунку клькост WWW-серверв. Сучасн роботи можуть також пдраховувати ншу статистичну нформацю, як то, середню кльксть документв на один сервер, пропорцю заданих типв файлв, середнй розмр веб-сайту, ступень мжсполучення мж сайтами.

Пдтримка Одна з основних проблем пдтримки нтернет виника, коли перестають працювати посилання на нш сторнки. Це вдбуваться тод, коли сторнка, на яку посилаються, перемстилася на ншу адресу або взагал перестала снувати. Нажаль, натепер не сну автоматичного механзму, що повдомляв би веб-мастерв про так змни. Деяк сервери, наприклад CERN HTTPD, записують у файл журналу, запити до сторнки, що не сну, з адресою сторнки, звдки йшло посилання, що дозволя виправити ситуацю пзнше.

Але це не практично насправд, автори дзнаються, про неправильн посилання на свох сторнках, коли помтять сам, або коли користувач повдомлять х по пошт. Робот, що перевря посилання, такий як MOMspider, допомага автору знайти так неправильн посилання, тому допомага пдтримувати сайт. Роботи можуть допомагати пдтримувати змст так само, як структуру, первряючи правильнсть HTML коду, регулярнсть оновлення нформац, але це використовуться не дуже часто.

Цей вид функцональност часто вбудованою частиною HTML редакторв, але, роботи можуть повторювати ц переврки при кожнй модифкац сайту, будь-як проблеми можуть бути виршен негайно.

Дзеркала

Дзеркало мстить копю усього дерева каталогв FTP сайту регулярно оновлю... Дзеркальнсть популярна технка для пдтримки FTP архвв. Дзеркала. Необхднсть таких засобв зменшилася з появою складних кеш-серверв, як м... Вже снують роботи, що отримують дерево каталогв веб-вузлу та записують...

Пошук ресурсв

Навть, якщо база даних не мстить саме ту нформацю, що вам потрбна, ймо... Мабуть, найбльш захоплюючим використанням роботв пошук нових ресурсв. Це добра альтернатива ручнй пдтримц документв, де переврки бувають рдк... Там, де люди не можуть впоратись з величезною клькстю нформац, комп ют... сну багато роботв, що оглядають велик частини WWW та дають доступ до з...

Комбноване використання

Комбноване використання Один робот може виконувати деклька задач. Наприклад RBSE Spider робить статистичний аналз отриманих документв та вида базу даних знайдених ресурсв.

Цна використання та застереження

Цна використання та застереження В цьому роздл ми побачимо, як роботи можуть завдавати шкоди, та як цю шкоду можна мнмзувати.

Ресурси мереж та завантаження серверв

Навть вддален сервери можуть вдчути заповльнення роботи, якщо робот от... Щоб прискорити виконання завдання, деяк роботи працюють у паралельному... Навть сучасний браузер Netscape стражда на цю проблему, отримуючи вбуд... Ця можливсть може бути використана роботом лише тод, коли вн зберга зв... Прост роботи користувача ще дуже далек вд розумних мережних агентв..

Поган реалзац

Навть якщо вхдн та вихдн дан правильн, багато менш очевидних проблем. ... Повторн звертання трапляються, коли не записуються сторя завантажених ... Деяк роботи отримують файли таких типв, як вони не можуть обробити GIF... нод робота просто тестують на цьому ресурс, а у нших випадках помилки ... Навантаження на мережу та сервери нод збльшуться за рахунок погано нап...

Ведення каталогу

Визначення що ндексувати, а що н. Помтьте, що навть, якщо робот зможе визначити, що дану сторнку не треб... HTML да можливсть додати метанформацю до документв, яка спрощу роботу ... Етика Зрозумло, що роботи дуже корисн, але вони накладають висок вимог... Мартин Костер виробив набр правил для авторв роботв, дотримуючись яких...

Альтернативи для пошуку ресурсв

Альтернативи для пошуку ресурсв. Це нформаця лише про локальн ресурси. Ручна пдтримка ндексно нформац може дати додатков проблеми провайдеру ... ншим обмеженням те, що нформацйн провайдери мусять записувати нформацю... Така система, як описано вище ALIWEB вже працю з жовтня 1993 да не пог...

Висновок

Висновок Роботи дуже корисними та перспективними програмами для нтернет, але при х написанн потрбно враховувати, що вони можуть суттво зменшити трафк для нших користувачв.

Щоб цього не сталося, при написанн роботв потрбно користуватися методологю Мартна Костера та пдтримувати Standard for Robot Exclusion.

Лтература

Лтература 1. Martijn Koster, A Standard for Robot Exclusion, Nexor Corp httpweb.nexor.co.ukmakdocrobotsnorobots. html. 2. Martijn Koster, Robots in the Web threat or treat, NEXOR 3. David Eichmann, Ethical Web Agents.