Когда вы работаете на своем компьютере, просматриваете веб-страницы на своем планшете или работаете с веб-сайтом на сервере, в фоновом режиме незаметно происходят многочисленные процессы. При возникновении проблем, ошибок или если вы хотите понять, какие действия выполняет операционная система или различные программы и службы, вам могут предоставить информацию так называемые лог-файлы. Они автоматически управляются почти всеми приложениями, серверами, базами данных и системами и регистрируют все соответствующие процессы.
Как правило, файлы журналов оцениваются редко — они выполняют функцию, аналогичную бортовому самописцу, который проверяется только в экстренных случаях. Однако из-за сбора подробных данных файлы журналов также являются основным источником для всестороннего расследования программных и системных ошибок и для записи поведения пользователей. Это делает их интересными не только для производителей программного обеспечения, но и для операторов веб-сайтов, которые могут получить интересную информацию из файла журнала своего веб-сервера.
Что такое файл журнала?
Файлы журнала, также известные как файлы журнала событий, представляют собой обычные текстовые файлы. Они содержат все процессы, которые были определены как релевантные программистом соответствующего приложения. Например, в случае файла журнала базы данных это все изменения правильно завершенных транзакций. Если части базы данных удалены, например. в случае сбоя системы файл журнала служит основой для восстановления правильной базы данных.
Файлы журнала автоматически генерируются в соответствии с соответствующим программированием; тем не менее, вы также можете создавать свои собственные файлы журналов, если у вас есть необходимые ноу-хау. Как правило, строка файла журнала содержит следующие две части информации:
- Записанное событие (например, запуск программы)
- Отметка времени, которая связывает дату и время с событием
Как правило, время указывается с префиксом, чтобы отразить хронологическую последовательность событий.
Типичные области применения лог-файлов
По умолчанию операционные системы создают несколько файлов журналов, которые классифицируют различные типы процессов. Например, системы Windows ведут журналы событий приложений, системных событий, событий, связанных с безопасностью, событий установки и переадресованных событий. Просматривая соответствующий файл журнала, администраторы получают информацию, которая может помочь им в устранении неполадок. Файлы журналов Windows также показывают, кто и когда входил в систему или выходил из нее. Помимо операционной системы существуют следующие программы и системы, которые в свою очередь собирают самые разные данные:
- Фоновые программы, такие как Например, почтовые серверы, базы данных или прокси-серверы генерируют файлы журналов, в которых в первую очередь записываются сообщения об ошибках, сообщения о событиях и уведомления. Фон — это в первую очередь резервное копирование и возможное восстановление данных.
- Установленное программное обеспечение, такое как программы Office, игры, программы обмена мгновенными сообщениями, брандмауэры или антивирусные сканеры, сохраняют самые разнообразные данные в файле журнала. Это могут быть, например, конфигурации или сообщения чата. Прежде всего, здесь основное внимание уделяется сбору сбоев программы в пользу быстрой обработки ошибок.
- Серверы (особенно веб-серверы ) регистрируют соответствующие сетевые действия, которые содержат полезную информацию о пользователях и их поведении в сети. Помимо прочего, уполномоченные администраторы выясняют, какой пользователь запустил приложение или запросил файл, в какое время, как долго он выполнял соответствующие действия и какая операционная система использовалась. Анализ лог-файлов веб-сервера — один из старейших методов веб-контроля и лучший пример возможностей лог-файлов.
Яркий пример потенциала лог-файла: лог-файлы веб-сервера.
Первоначально файл журнала веб-серверов, таких как Apache или Microsoft IIS, использовался для стандартной записи и устранения ошибок потока процесса. Однако быстро выяснилось, что файл журнала веб-сервера может предоставить гораздо более ценные данные, такие как информация о популярности и удобстве использования веб-сайта, размещенного на сервере, включая полезную информацию о посетителях, такую как:
- Время просмотров страниц
- Количество просмотров страниц
- Продолжительность сеанса
- IP-адрес и имя хоста пользователей
- Информация о запрашивающем клиенте (обычно браузере)
- Используемая поисковая система, включая поисковый запрос
- Используемая операционная система
Типичная запись в файле журнала веб-сервера выглядит так:
183.121.143.32 — — [18/Mar/2003:08:04:22 +0200] «GET /images/logo.jpg HTTP/1.1» 200 512 «http://www.wikipedia.org/» «Mozilla/5.0 (X11; U; Linux i686; de-DE; rv: 1.7.5)»
Объяснение отдельных параметров:
| смысл | образец значения | объяснение |
| айпи адрес | 183.121.143.32 | IP-адрес запрашивающего хоста |
| незанятый | — | Идентификатор RFC-1413 не обнаружен по умолчанию |
| Кто? | — | Показывает имя пользователя, если HTTP-аутентификация имела место; в противном случае остается пустым, как в этом случае |
| Когда? | [18 марта/2003:08:04:22 +0200] | Временная метка, состоящая из даты, времени и информации о смещении времени |
| Какие? | ПОЛУЧИТЬ /images/logo.jpg HTTP/1.1 | Событие, которое произошло, в данном случае запрос изображения через HTTP |
| ХОРОШО | 200 | Подтверждение успешного запроса (код состояния HTTP 200) |
| Сколько? | 512 | Если задано: количество переданных данных в байтах |
| Отсюда? | http://www.wikipedia.org/ | Веб-адрес, с которого запрашиваются данные |
| По какому? | Mozilla/5.0 (X11; U; Linux i686; de-DE; rv: 1.7.5) | Техническая информация о клиенте: браузер, операционная система, ядро, пользовательский интерфейс, голосовой вывод, версия |
Для оценки потока информации были разработаны такие инструменты, как Webalizer или W3 Statistics , которые преобразуют собранные данные в содержательную статистику, таблицы и графики. Их можно использовать, например, для определения тенденций роста веб-сайта, удобства использования отдельных страниц или релевантных ключевых слов и тем.
Даже если анализ файла журнала веб-сервера все еще практикуется, он был в значительной степени заменен более новыми методами веб-анализа, такими как файлы cookie или теги страниц. Причины этого кроются, с одной стороны, в высокой частоте ошибок анализа лог-файла при назначении сессий, с другой стороны, в том, что операторы веб-сайтов часто вообще не могут получить доступ к лог-файлу веб-сервера. Все сообщения об ошибках регистрируются немедленно. Кроме того, данные, полученные в результате анализа лог-файла, остаются непосредственно у компании.
