Основы интерфейса командной строки

- У меня UNIX не грузится, ошибку выводит
- Какую?
- login:

Если Вы оказались в графическом режиме, то запустите терминал (В меню выберите "Системные"->"Терминал").

Теперь Вы находитесь в текстовом режиме управления операционной системой. Этот режим еще называется shell (в переводе с английского "оболочка") и существует во всех UNIX системах. Ещё его называют режимом командной строки (command line interface). Все, что можно здесь делать, это вводить команды и читать результат их выполнения. Например, если хотите узнать текущие дату и время, то введите команду

$ date

Mon Oct 4 19:47:03 MSD 2004

$ touch foo.txt 

$ echo Hello world

Hello world

Кстати, обратите внимание на знак приглашения. Если это $ как в примере, то Вы работаете от имени простого пользователя, а если знак приглашения #, то Вы вошли в систему под именем root и имеете все права (например всё уничтожить). Запомните: никогда не делайте под root'ом то, что можете сделать под другим пользователем. То есть нельзя под root'ом заходить в графический режим, получать почту, разрабатывать программы или ходить по интернету. Дело в том, что любая программа запущенная под root'ом при некорректном поведении (например, из-за ошибки в программе) нанесет гораздо больший ущерб, чем под любым другим пользователем.

Идеальным вариантом является ситуация, когда для каждой функции есть отдельный пользователь: один пользователь для почты, другой для написания программ, третий для хождения по интернету и т.д. В этом случае неправильно написанная программа не уничтожит Вашу почту, а вирус из интернета не сможет испортить или удалить Ваши данные.

В UNIX у команд есть возможность влиять друг на друга. Самый простейший способ такого влияния: передача кода возврата. Например, "создать файл и в случае удачи вывести OK" в UNIX выглядит как

$ touch foo.txt && echo OK

OK

$ touch foo.txt || echo Что-то не так

Недостатками кодов возврата являются ожидание окончания первой команды и то, что код возврата лишь одно число, в то время как иногда желательно передать несколько строк и не дожидаясь окончания первой программы. Для этих целей существуют потоки ввода-вывода и возможность их перенаправления. Уже упомянутая команда echo пишет в стандартный поток вывода (stdout). Можно записать что-нибудь в файл:

echo Это будет в файле > foo.txt

$ echo Это допишется в конец >> foo.txt

$ cat foo.txt

Это будет в файле
Это допишется в конец

Можно записать сразу всё содержимое файла командой cat

$ cat > foo.txt

Первая строка
Вторая строка
Ctrl+D

Здесь строки после команды вводятся с клавиатуры. Символ Ctrl+D находящийся отдельно на строке является символом конца файла и используется для окончания ввода.

Все сообщения об ошибках выводятся в стандартный поток ошибок (его называют stderr или поток 2). В обычной ситуации и то и другое - просто вывод на экран. Предположим, надо скомпилировать программу. Компилятор по ходу работы выводит сообщения обо всех ошибках в программе и они могут занять несколько экранов. Чтобы их можно было посмотореть можно выполнить компиляцию следующим образом

$ cc test.c 2> log.err

Если надо перенаправить не только ошибки но и стандартный вывод, то команда будет выглядеть как

$ cc test.c > log.err 2>&1

Последний кусок команды (2>&1) можно читать как "перенаправить поток ошибок в стандартный поток вывода".

Для демонстрации использования перенаправления стандартного ввода посмотрим, что делает команда cat без параметров. В этом случае она выводит всё, что ей передается на стандартный ввод. Если же выполнить команду

$ cat < foo.txt

Это будет в файле
Это допишется в конец

Если какая-либо команда в процессе выполнения выводит нежелательные сообщения (например, нам нужен только статус возврата, а не сообщение об ошибке), то можно перенаправить ее вывод в специальный файл /dev/null. В этот файл все могут писать, но результат нигде не храниться и прочитать из него ничего нельзя. Можете считать его аналогом мусорной корзины или черной дыры.

$ touch /chk 2> /dev/null || echo Не получилось

Не получилось

При выполнении данной команды стандартного сообщения об ошибке Вы не увидите.

Теперь рассмотрим ещё одну удобную возможность: перенаправления вывода одной команды на ввод другой. Например,команда ls позволяет посмотреть список файлов в текущем каталоге. Но, предположим, что файлы копировались с windows-системы и их имена в неправильной кодировке. Есть программа, позволяющая перекодировать текст. Она называется iconv. И поставленную задачу можно решить двумя командами

$ ls > tmpfile
$ iconv -f cp1251 -t koi8-r < tmpfile

foo.txt

Можно также заставить эти команды выполняться одновременно и без промежуточного файла

$ ls | iconv -f cp1251 -t koi8-r

foo.txt

Если надо вывод команды направить не в стандартный ввод, а в параметры, используется обратный апостроф ` (слева от 1 на клавиатуре). Например, нужно вывести на экран описание (ls -l) несколько файлов, а список файлов лежит в другом файле. Тогда команда будет выглядеть как

$ ls -l `cat list`

В UNIX существует встроенная система документации. Например, если Вы хотите узнать, что делает команда ls, выполните команду

 
$ man ls

$ info info

При работе с командной строкой необходимо знать, что некоторые символы являются специальными: $, !, #, ?, *, а также упоминавшиеся выше <, >, |, &. Символ $ используется для подстановки значения переменных shell'а. Например свое имя пользователя можно получить командой

$ echo $USER

monk

$ echo это есть # этого нет

это есть

Символы "*" и "?" используются для подстановки в командную строку имен файлов. Строку с ними еще называют \em маской. "?" - значит один произвольный символ в имени файла, "*" - любое число символов. Например,

$ echo *

$ echo .*

. ..

$ echo *d

*d

Если необходимо использовать спецсимволы в их неспециальном значении, следует перед ними вставлять символ "\". Например:

$ echo \# \$ \&

# $ &

Еще один символ, который формально не является специальным, но который нежелательно ставить первым в имени файла - это "-". Дело в том, что имя этого файла всеми программами будет рассматриваться не как имя, а как ключ (параметр выполнения). Например, если попробовать создать файл "-c" командой touch

$ touch -c

touch: file arguments missing
Try `touch -help' for 
more information.

Тем не менее к таким файлам можно получить доступ при помощи пути вида "./-c" либо любого другого полного пути. Также в такие файлы можно писать из программ или команд вида

$ echo test > -c

При использовании подстановок типа * нужно всегда помнить, что в UNIX в именах файлов могут быть почти любые символы (все кроме "/" и нулевого символа). Например могут быть пробелы, символы конца строки, дефис, управляющие символы и прочее. Хотя использование в именах файлов не-латинских символов не рекомендуется, эту возможность всегда следует учитывать.

Работа с файлами и директориями

Введение в файловые системы

Данные на жестком диске в UNIX организованы в именованые блоки переменного размера, называемые файлами. Фактически, файл - это последовательность байт снабженная именем. Кроме имени у файла есть еще так называемые метаданные: права доступа, время создания, чтения, модификации. Представление о метаданных можно получить посмотрев на результат команды

$ stat foo.txt

File: `foo.txt'
Size: 40 Blocks: 8 IO Block: 4096 regular file
Device: 303h/771d Inode: 1739262 Links: 1
Access: (0644/-rw-r--r--) Uid: (1000/monk) Gid: (100/users)
Access: 2004-10-06 22:42:10.000000000 +0400
Modify: 2004-10-06 22:50:19.000000000 +0400
Change: 2004-10-06 22:50:19.000000000 +0400

Размер файлов измеряется не только в байтах, но и блоках. Дело в том, что для жесткого диска или дискеты практически нет разницы, будет ли прочитан один байт или 512. Большую часть времени занимает позиционирование головки. Поэтому данные с таких устройств читают блоками. Для простоты устройства файловой системы каждый блок на диске принадлежит только одному файлу. Причем в современных файловых системах блок файловой системы содержит несколько блоков жесткого диска. Так что, даже если, как в данном случае, размер файла всего 40 байт, то на диске он занимает 4096 байт (параметр IO Block как раз сообщает размер блока файловой системы). В параметре Blocks размер блока равен 512 байт, так как это минимальный размер блока на жестком диске и мы видим, что файл занимает 8 дисковых блоков = 8*512 = 4096 байт.

Еще одно незнакомое понятие: Inode. Дело в том, что в UNIX у одного файла может быть несколько имен. При этом данные должны быть обшими. Так вот Inode и есть уникальный идентификатор данных файла, а параметр Links сообщает сколько имен (их еще называют ссылками) у данного файла. Device - номер устройства, где находится файл. Ниже можно увидеть права доступа и времена доступа или изменения файла. Создать дополнительную ссылку на файл можно командой ln. Например

$ ln foo.txt foo2.txt

$ ln -s foo.txt sym.txt

$ ln -s /home/monk/foo.txt sym.txt

Кроме понятия "файл" было введено понятие "каталог". Так же как файл используется для доступа к группам данных, каталог объединяет группы файлов. Во время создания UNIX также была еще одна причина создания каталогов: при большом количестве файлов очень долго проводился поиск по имени файла при открытии файла. С точки зрения файловой системы каталог - это такой файл, в котором вместо данных хранятся записи вида "имя файла, номер Inode". Файлы и каталоги у которых нет вышестоящего каталога находятся в специальном каталоге без имени. Его называют "корневой каталог" (root directory). При указании \em полного имени имена вышестоящих каталогов разделяются символом "/". Например полное имя /boot/grub/grub.conf значит, что в корневом каталоге есть каталог boot, в котором есть каталог grub, в котором находится искомый файл grub.conf. В каждом каталоге кроме обычных файлов и подкаталогов всегда есть два специальных подкаталога "." и "..". "." - каталог указывающий на Inode текущего каталога, а ".." указывает на Inode родительского каталога. Например рассмотренный выше путь к файлу можно было записать как /boot/grub/./grub.conf или /boot/../boot/grub/grub.conf или еще тысячью разных способов. Из-за этих двух специальных каталогов количество ссылок у каталогов всегда не меньше двух. Одна - сам каталог, вторая - каталог "." в нем. И каждый подкаталог добавляет по дополнительной ссылке от своего каталога "..". При обращении к каталогу можно заканчивать полное имя на знак "/". Поэтому, если хотите получить какую либо информацию по корневому каталогу необходимо использовать имя "/". Например

$ stat /

File: `/'
Size: 4096 Blocks: 8 IO Block: 4096 directory 
Device: 303h/771d Inode: 2 Links: 20
Access: (0755/drwxr-xr-x) Uid: (0/root) Gid: (0/root)
Access: 2004-10-02 17:06:15.000000000 +0400 
Modify: 2004-10-05 13:26:57.000000000 +0400
Change: 2004-10-05 13:26:57.000000000 +0400

Кроме файлов и каталогов есть еще несколько специальных типов файлов: блочные и символьные устройства, сокеты и файлы FIFO. Файлы устройств в UNIX, как правило, обеспечивают доступ к различному оборудованию компьютера, в том числе виртуальному. Например, программа разбивки жесткого диска на разделы работает не с самим диском и не с системными вызовами напрямую, а со специальным файлом /dev/hda. Аналогично файл /dev/null является виртуальным устройством поглощающим любые данные, из файла /dev/random можно прочитать псевдослучайную последовательность произвольной длины, а все что будет записано в файл /dev/dsp будет звучать через звуковую карту компьютера.

Сокеты позволяют имитировать сетевое соединение через файл (чтобы не разделять код программы на сетевой и локальный), а файлы FIFO являются теми же конвейерами, но именоваными. Практического применения для непрограммиста они не имеют.

Теперь обратимся к структуре файловой иерархии UNIX. То есть как должны называтся каталоги и какие файлы в них должны находится. Полную документацию по этому поводу можно узнать командой

$ man hier

ls: посмотреть список файлов

$ ls -l

total 4
-rw-r--r-- 1 monk users 40 Oct 8 15:29 foo2.txt

total 4 значит, что перечисленные файлы занимают 4Кб. В строках по каждому файлу выдается информация: права доступа (-rw-r--r--), количество ссылок, владелец, группа-владелец, длина файла, время модификации и имя файла.

Создание файлов

$ echo test > newfile.txt
$ echo > newfile.txt
$ > newfile.txt
$ echo -n > newfile.txt

Кстати, следует знать, что символы конца строки в windows, UNIX и MacOS различны. В UNIX это один байт, который обозначается \backslashn. В windows два символа с кодами \backslashr\backslashn. В MacOS те же два символа, но в обратном порядке. Всё это приводит к тому, что текстовые документы необходимо перекодировать, чтобы их можно было использовать в другой системе, даже если используются только коды ASCII. Перекодировку текста выполняет уже упоминавшаяся ранее команда iconv.

rm: удаление файлов

Её коварство заключается в том, что при её использовании следует очень опасаться опечаток. Например, желая удалить все файлы в текущем каталоге, Вы набираете команду

$ rm -rf ./*

$ rm -rf /*

$ rm -rf . /*

Каталоги: создание, использование и удаление

$ mkdir dir1/dir2

mkdir: cannot create directory `dir1/dir2': No such file or directory

Если это поведение нежелательно, можно использовать ключ -p. Тогда mkdir автоматически создает все необходимые родительские каталоги и считает успехом существование каталога по окончании работы (то есть, если он уже есть, то это тоже успех).

Удалить пустой каталог можно командой rmdir.

Чтобы перейти в другой каталог, используется команда cd. Она получает один параметр: каталог, куда переходить. При запуске без параметров происходит переход в домашний каталог (он же каталог $HOME, он же каталог  ). Можно так же перейти в предыдущий каталог командой "cd -" (она также выводит полное имя этого каталога). Команда pwd выводит полное имя текущего каталога. Теперь при помощи cd, pwd и ls Вы можете обозревать структуру файловой системы.

cp: скопировать файл

$ cp file1 file2

$ cat < file1 > file2

Такое поведение не всегда желательно: например, при копировании каталога /dev желательно, чтобы создавались такие же файлы устройств, а не читалось содержимое этих файлов. Для этого существует опция -R. Она делает то же, что и -r, но кроме того правильно копирует специальные файлы. Если необходимо сохранить права доступа используется ключ -p. Ещё одно тонкое место: как копировать символические ссылки. Можно либо копировать ссылку как ссылку, либо копировать содержимое файла доступного по ссылке. По умолчанию копируется содержимое. Если нужно скопировать саму ссылку, используйте ключ -P.

Также следует знать, что в UNIX комнда cp копирует жесткие ссылки в отдельные файлы. Для сохранения жестких ссылок в Linux версии cp есть параметр -d, который делает то же, что и -P, но кроме этого сохраняет жесткие ссылки. Разумеется только в том случае, если все жесткие ссылки копируются одной командой. Пример

$ touch t
$ ln t t2
$ ls -l

total 0
-rw-r--r-- 2 monk users 0 Oct 11 15:45 t
-rw-r--r-- 2 monk users 0 Oct 11 15:45 t2

$ mkdir a
$ cp -d t t2 a
$ ls -l a

total 0
-rw-r-r- 2 monk users 0 Oct 11 17:37 t 
-rw-r-r- 2 monk users 0 Oct 11 17:37 t2

Все нормально скопировалось. Теперь очистим катлог a и скопируем файлы поодиночке

$ rm a/*
$ cp -d t a
$ cp -d t2 a
$ ls -l a

total 0
-rw-r-r- 1 monk users 0 Oct 11 17:38 t 
-rw-r-r- 1 monk users 0 Oct 11 17:38 t2

mv: переместить файл

mount: подключение дополнительных дисков

Изачально первая версия UNIX грузилась с двух лент. Так как каждая лента с точки зрения системы является отдельным устройством, то пришлось реализовать метод подключения второй ленты так, чтобы в результате получилось единое дерево. (то что корень должен быть один уже было решено). Тогда в системные вызовы добавили вызов mount, который позволял к любому существующему каталогу подключить произвольную файловую систему. Второй файловой системой тогда являлся /usr (а третьей /usr/local) именно отсюда копирование структуры корневой системы.

Реализуется эта функциональность с точки зрения пользователя командой mount. Если её вызвать без параметров, то увидите список существующих разделов и к каким каталогам эти устройства подключены. Как правило, настраивается подключение файловых систем в файле /etc/fstab, затем просто все подключаются

$ mount -a

$ mount /mnt/floppy

После этой команды все содержимое дискеты оказывется подключено к каталогу /mnt/floppy. По окончании работы с дискетой перед тем как её вытащить \bf обязательно необходимо выполнить команду

$ umount /mnt/floppy

Если нет желания прописывать устройство в /etc/fstab, то можно всё равно его подключить (необходимо выполнять от пользователя root):

# mount /dev/fd0 /mnt/floppy

Без параметров mount выводит список подключенных файловых систем.

Место на диске

Разумеется при работе с данными первый вопрос, который приходит в голову: хватит ли места? И если ответ, на первый вопрос "нет", то необходимо как-то узнать, куда это место ушло.

На первый вопрос нам ответит команда df (от disk free). Без параметров она выводит данные о том, какие устройства есть в системе, куда подключены, сколько на них места всего и сколько используется:

$ df

Filesystem 1K-blocks Used Available Use% Mounted on
/dev/hda3 19466372 16098680 2378844 88% /
/dev/hda5 7801752 7309112 492640 94% /mnt/win
/dev/hda1 18104872 15947252 2157620 89% /mnt/ntfs
none 257732 0 257732 0% /dev/shm

Как правило нас интересует не всё свободное место, а доступное нам. С учетом того, что могут использоваться символические ссылки только из имени каталога и таблицы подключений устройств нельзя выяснить на каком устройстве находится текущий каталог. Но это можно узнать при помощи той же самой команды df, если ей передать имя каталога в качестве параметра

$ df .

Filesystem 1K-blocks Used Available Use% Mounted on
/dev/hda3 19466372 16098680 2378844 88% /

Теперь предположим, что места нам не хватает. Используемое каждым каталогом место покажет команда du (от disk usage). Без параметров она показывает объем каждого подкаталога рекурсивно в текущем каталоге, то есть объем все подкаталогов и их подкаталогов и т.д. Таким образом, после первого же запуска можно прикинуть распределение места. Если это поведение нежелательно, то ключ -s позволяет показывать только объем тех каталогов, которые переданы в качестве параметров (или текущего, если параметров нет). Так же есть ключ -h, который заставляет эту команду выдавать результаты в килобайтах, мегабайтах и т.д., а не всегда в килобайтах. Как правило, используется в форме

$ du -sh *

Полезные возможности

В UNIX в отличие от операционных систем Microsoft файловые системы не подвержены фрагментации, кроме того, благодаря разделению понятий файл и Inode возможно обновление на ходу любых программ, установленных в системе. Дело в том, что в UNIX после операции "открытие файла" процесс работает именно с соответствующим блоком Inode. Если файл удален или переписан поверх новой версией, то данные удаленного файла не стираются с диска до тех пор пока этот файл не будет закрыт всеми процессами, которые его используют. Например, если будет обновлены системные библиотеки, то все программы запусщенные после обновления будут использовать новые библиотеки, но и старые процессы будут работать, так как библиотеки будут храниться на диске (хоть и без имени) до тех пор, пока хоть один процесс эту библиотеку использует (и как следствие, держит её открытой).

Ещё один вариант использования этой возможности - создание временных файлов без имени. Программа создает файл, открывает его (всё одним вызовом fopen), затем удаляет созданный файл и этот файл будет окончательно удален с диска после окончания программы (даже аварийного). Это позволяет с одной стороны, не мусорить временными файлами (бывает, что процесс создает временный файл, а потом забывает его стереть), с другой стороны содержимое такого файла гораздо сложнее прочесть другим процессам (что повышает безопасность).

Благодаря наличию символических ссылок можно переносить каталоги на другие физические устройства так, чтобы данные реально находились на другом устройстве, но с точки зрения системы не перемещались (например так можно переместить каталог /usr/share/doc на сетевой диск). Фактически эту же возможность предлагает команда mount, но символическими ссылками можно всё настроить гораздо тоньше. Также при этом появляется возможность реально держать файлы относящиеся к разным пакетам в различных папках, а в /bin, /lib и т.д. сложить только символические ссылки на нужные файлы.

Поиск файлов

find: искать по критериям

В предыдущем разделе было показано как можно что-либо сделать с группой файлов со сходными именами (операция подстановки по маске). Но ведь иногда требуется найти, например, все файлы, которые не читались в течение месяца. Для такого рода задач используется команда find. В простейшем варианте (без параметров) она выдает список всех файлов, каталогов и их подкаталогов и т.д. от текущего каталога. Первый параметр у find (если есть) - это каталог от которого искать. Список выводится так же как и подстановка, то есть, если

$ echo ./*
$ find .

$ find / -name '*find*'

Если нужен поиск вне зависимости от регистра строки, то вместо -name надо использовать -iname. Кроме того есть множество дополнительных параметров поиска: -type - поиск по типу файла (f - обычный файл, d - каталог и т.д.), -user - поиск по владельцу, -atime - поиск по последнему времени доступа (параметр число, 5 - доступ 5 дней назад, +5 - больше 5, -5 - меньше 5) и некоторые другие возможности (полный список смотрите в man find). При этом различные условия можно писать либо подряд (тогда они должны выполняться все), либо ставя между ними ключ -o (он работает как слово ИЛИ). Также перед условием можно написать -not, тогда смысл условия меняется на противоположный. Затем после ключей условий могут идти ключи действий. По-умолчанию действие - вывод имени найденного файла, но можно его заменить. Например для удаления всех найденных файлов, можно ввести

$ find / -name "*.bak" -exec rm {} \;

xargs: оптимизируем обработку большого числа файлов

Возьмём пример из предыдущего раздела: удалить все найденные файлы. Очевидно, что команда rm будет вызываться на каждый файл отдельно, несмотря на то, что она может работать не с одним файлом, а с несколькими. Разумеется можно сделать что-то вроде

$ rm `find / -name "*.bak"`

$ find / -name "*.bak" | xargs rm

$ find / -name "*.bak" -print0 | xargs -0 rm

locate: очень быстрый поиск

Чаще всего делается поиск по имени, поэтому была создана специальная система, которая хранит все имена на диске в файле и ищет затем по этому файлу, что гораздо быстрее.

Выглядит это так:

$ locate myfile

С точки зрения результата это эквивалентно

$ find / | grep myfile

Поиск помощи

Я уже рассказывал про команду man, которая может дать краткое описание любой команды. Но что делать, если точное имя команды енизвестно? Для этого существует команда apropos. Например, Вы хотите найти команду rm, но не можете вспомнить её имя, хотя знаете, что оно должна удлять файлы Вводите

$ apropos "remove files"

$ man -K "строка поиска"

Обработка текста

Все данные в UNIX хранятся в файлах, а большинство файлов (в частности все файлы настроек и журналы событий) являются текстовыми. Поэтому здесь существуют достаточно мощные средства обработки текстовых файлов.

grep: искать в файле

Более точно будет сказать, что grep позволяет провести фильтрацию строк файла по определенному шаблону. Например, нужно выяснить, какие разделы на ext3 есть в системе. Самый простой способ это выяснить

$ grep ext3 /etc/fstab

/dev/hda3 / ext3 noatime 0 0

$ mount | grep ext3

/dev/hda3 on / type ext3 (rw,noatime)

Также очень удобно использовать grep совместно с find. Например: найти все файлы, если в имени файла или каталога есть слово Distrib

$ find | grep Distrib

$ find /etc -print0 | xargs -0 grep ext3