Bog BOS: INN (news-сервер в стандарте NNTP)

INN (news-сервер в стандарте NNTP)

Ссылки:

(был на http://www.isc.org/products/INN) официальный источник (текущая версия - INN 2.2.1 от 25 августа 1999 - на 11 октября 1999)
USENET группа
"Официальные" дополнения
FAQ (1997)
Knowledge of Usenet═(June 1998, INN 2.0, частично платный)
HOWTO (Dec 1998, INN 2.1)
FAQ
список утилит (официальных и не)

Общая картина

Основной процесс - innd. Крутится все время, ожидая и принимая поток статей по NNTP от соседей, пропуская через фильтры. Ведет список групп (active), список статей (history, history index), сами статьи (spool), базу заголовков статей - overview(.NOV), пакеты статей для рассылки соседям (batch), журналы. Для управления работой innd "на ходу" (добавление/удаление групп/статей/соседей, изменение параметров работы и т.д.) служит программа ctlinnd. При получении соединения не от соседа, а от клиента (для чтения статей), запускается nnrpd, который может только читать из баз данных. Для буферизации доступа к active используется actived. Чтобы послать статью он (м.б. пропуская ее через фильтр) запускает inews, который взаимодействует с innd (только innd может писать в базы данных). Базу данных overview ведет программа overchan. Удалением старых статей занимаются expire и expireover (для overview), которые не прерывают работу innd (разве что на минуточку). Накопленный пакет для рассылки статей соседям рассылается innxmit (подготавливается nntpsend) или с помощью innfeed без образования пакетов. innwatch присматривает за использованием ресурсов (диск, CPU) и в случае перегрузки останавливает innd. Обработка журналов: cron ежедневно запускает news.daily, который запускает expire (который готовит список статей для удаления и правит active и history; реальное удаление происходит с помощью fastrm), scanlogs (rotate logs и запуск innreport).

Картинка от Елены Самсоновой.

Управляющие сообщения

Представляет собой обычную статью, в обычной группе, имеющую заголовок "Control:". Встретив такую статью, innd обрабатывает команду и сохраняет статью:

cancel Message-ID (обрабатывается самим innd)
иначе первое слово рассматривается как имя программы (ищется в директории ${BIN}/control. Если программа не существует, то вызывается программа default.

Сообщения запоминаются в псевдогруппе control (включается в active). Если создать подгруппу control.имя-команды, то все соответствующие статьи будут помещаться в эту подгруппу (очень рекомендуется создать control.cancel, control.newgroup, control.rmgroup, control.checkgroups).

Отличия 2.2.1 от 1.5.1

autoconf
многие параметры перенесены из этапа сборки в inn.conf
статьи могут храниться разными способами (как раньше, cnfs - несколько статей упихивается в один файл, timehash - статьи хранятся в отдельных файлах, но имена подбираются для более быстрого доступа)
новый dbz (ускорение работы с history)
переделан overview (mmaped)
nnrpd: работа в режиме демона
nnrpd: отслеживание клиентов
nnrpd: LIST MOTD
nnrpd: преобразование заголовков на ходу (с доступом к телу)
nnrpd: X-Trace и X-Complaints-To
nnrpd: NNTP-Posting-Host и NNTP-Posting-Date
nnrpd: управление потоком посылаем статей (борьба со своими спамерами)
nnrpd: позволяет удалять CC, BCC и To
innd и nnrpd можно привязывать к произвольному адресу/порту
пакетирование управляющих сообщений (борьба со штормом)
inndf
cnfsstat
news2mail
mailpost (mail to news)
pullnews (отбор news через nnrp вместо feed)

Установка INN 1.5.1/Solaris 2.5

Установка inn 1.5.1 (Solaris 2.5, perl 5.0.3 (у меня 4.0.1.8, в дальнейшем заменен на 5.005_02); tcl 7.4 (7.5 не работает) - у меня, по-моему, 7.3 (в дальнейшем заменен на 8.0); pgp (не установлен):

создаем группу news, group id (например) 300, добавляю себя в список членов группы (удобства ради ;)
создаем пользователя news, user id (например) 300, primary group - 300, secondary - sys (а надо ли?), shell - /bin/sh, account locked (на всякий случай), домашняя директория - /home/news
копируем в /home/news inn-1.5.1.tar.gz и развертываем его.
печатаем руководство по установке:
groff -mgs Install.ms.1 | ps2pcl | lp
groff -mgs Install.ms.2 | ps2pcl | lp
строим subst
1. проверяем, что у нас нормальный sed:
  cd config
  cp config.dist config.data
  make sedtest
  
  увы :( у нас sed дефективный (Solaris 2.5 - это называется солидная фирма!)
2. можно, конечно, взять sed из GNU, но я не стал
3. компилируем C-шную версию:
  cd config
  cp config.dist config.data
  make c quiet
  
  вроде работает
редактируем config.data: файл состоит из строк вида:
параметр<одна или более табуляция>значение
если значение пусто, то табуляция все равно д.б.
# комментарий
показаны только отклонения от поставляемой конфигурации (под BSD)
- параметры Make config
  - #### =()<DEFS @<DEFS>@>()=
    DEFS -I../include -DSUNOS5
  - ## Flags for the "cc -o" line; e.g., -Bstatic on SunOS4.x while debugging.
    #### =()<LDFLAGS @<LDFLAGS>@>()=
    LDFLAGS -g
  - ## If you need to link in other libraries, add them here.
    ## On NetBSD and FreeBSD, you must add the -lcrypt directive here
    ## -lutil on BSD/OS gives you setproctitle() see HAVE_SETPROCTITLE.
    #### =()<LIBS @<LIBS>@>()=
    LIBS -lsocket -lnsl -lelf
  - ## Flags for lint. AIX wants "-wkD"; it and others don't want "-z".
    #### =()<LINTFLAGS @<LINTFLAGS>@>()=
    LINTFLAGS -b -h $(DEFS)
  - #### =()<LINTFILTER @<LINTFILTER>@>()=
    LINTFILTER | sed -n -f ../sedf.sysv
  - ## Where various manpages should go
    #### =()<MAN1 @<MAN1>@>()=
    MAN1 /usr/local/man/man1
    #### =()<MAN3 @<MAN3>@>()=
    MAN3 /usr/local/man/man3
    #### =()<MAN5 @<MAN5>@>()=
    MAN5 /usr/local/man/man5
    #### =()<MAN8 @<MAN8>@>()=
    MAN8 /usr/local/man/man8
  - ## YACC (yet another config control?)
    #### =()<YACC @<YACC>@>()=
    YACC /usr/ccs/bin/yacc
- журнализация: пусть пока все будет как есть (должен сбрасываться в разл. файлы), ═добавляем в /etc/syslog.conf:
  news.crit /var/log/news/news.crit
  news.err /var/log/news/news.err
  news.notice /var/log/news/news.notice
  news.crit /dev/console
  news.warning /var/log/news/news.warning
  news.debug /var/log/news/news.debug
  news.info /var/log/news/news.info
  
  и перезапускаем syslog (предварительно файлы создав ручками и с правами под news!)
- принадлежность и права на файлы:
  - ## Who gets email from news.daily and about control messages.
    #### =()<NEWSMASTER @<NEWSMASTER>@>()=
    NEWSMASTER news
- C- библиотека:
  - ## Worst-case alignment, in order to shut lint up
    #### =()<ALIGNPTR @<ALIGNPTR>@>()=
    ALIGNPTR long
  - ## Type of variables can be modified in a signal handler? sig_atomic_t
    #### =()<SIGVAR @<SIGVAR>@>()=
    SIGVAR int
  - ## Use flock, lockf, or nothing to lock files?
    ## Pick FLOCK, LOCKF, FCNTL, or NONE
    #### =()<LOCK_STYLE @<LOCK_STYLE>@>()=
    LOCK_STYLE LOCKF
  - ## Do you have setproctitle()? Pick DO or DONT.
    ## You may need to adjust LIBS for this.
    #### =()<HAVE_SETPROCTITLE @<HAVE_SETPROCTITLE>@>()=
    HAVE_SETPROCTITLE DONT - надеюсь
  - ## Does your (struct tm) have a tm_gmtoff field? Pick DO or DONT.
    #### =()<HAVE_TM_GMTOFF @<HAVE_TM_GMTOFF>@>()=
    HAVE_TM_GMTOFF DONT
  - ## How to fork? Pick fork or vfork.
    #### =()<FORK @<FORK>@>()=
    FORK fork
  - ## How should close-on-exec be done? Pick IOCTL or FCNTL.
    #### =()<CLX_STYLE @<CLX_STYLE>@>()=
    CLX_STYLE FCNTL
  - ## How to get number of available descriptors?
    ## Pick GETDTAB, GETRLIMIT, SYSCONF, ULIMIT, or CONSTANT.
    #### =()<FDCOUNT_STYLE @<FDCOUNT_STYLE>@>()=
    FDCOUNT_STYLE SYSCONF
- отсутствующие библиотеки: нет
- разное
  - ## Require posts to have under 50% inclusion (">") lines? Pick DO OR DONT.
    ## (This is only for inews and nnrpd.)
    #### =()<CHECK_INCLUDED_TEXT @<CHECK_INCLUDED_TEXT>@>()=
    CHECK_INCLUDED_TEXT DONT
  - ## Largest acceptable article size; 0 allows any size
    #### =()<MAX_ART_SIZE @<MAX_ART_SIZE>@>()=
    MAX_ART_SIZE 10000000L
  - ## Verify that the poster is the person doing the cancel? Pick DO or DONT.
    ## (Can't do this if cancel arrives before the article does, by the way,
    ## in which case the early cancel will be ignored.)
    #### =()<VERIFY_CANCELS @<VERIFY_CANCELS>@>()=
    VERIFY_CANCELS DO
  - ## File unknown "to.*" groups into the "to" newsgroup? Pick DO or DONT.
    #### =()<MERGE_TO_GROUPS @<MERGE_TO_GROUPS>@>()=
    MERGE_TO_GROUPS DO
  - ## Record rejected articles in history? Pick DO or DONT.
    #### =()<REMEMBER_TRASH @<REMEMBER_TRASH>@>()=
    REMEMBER_TRASH DONT
  - ## Log by host IP address, rather than from Path line?
    #### =()<IPADDR_LOG @<IPADDR_LOG>@>()=
    IPADDR_LOG DONT
  - ## Should INN do some setsockopts on network connections. Pick DO or DONT.
    ## Some versions of Solaris should set to DONT (pre 2.4 it seems)
    #### =()<SET_SOCKOPT @<SET_SOCKOPT>@>()=
    SET_SOCKOPT DONT
- пути к программам:
  - ## Where the raison d'etre for this distribution lives.
    #### =()<_PATH_INND @<_PATH_INND>@>()=
    _PATH_INND /usr/local/news/bin/innd
  - ## Where the optional front-end that exec's innd lives.
    #### =()<_PATH_INNDSTART @<_PATH_INNDSTART>@>()=
    _PATH_INNDSTART /usr/local/news/bin/inndstart
  - ## Where news boot-up script should be installed.
    #### =()<_PATH_NEWSBOOT @<_PATH_NEWSBOOT>@>()=
    _PATH_NEWSBOOT /usr/local/news/bin/rc.news
  - ## Where sendmail, or a look-alike, lives.
    ## The -t is optional and says to read message for recipients
    #### =()<_PATH_SENDMAIL @<_PATH_SENDMAIL>@>()=
    _PATH_SENDMAIL /usr/lib/sendmail -t
  - ## Where the compress program lives.
    #### =()<_PATH_COMPRESS @<_PATH_COMPRESS>@>()=
    _PATH_COMPRESS /usr/local/bin/gzip
  - ## What extension your compress appends
    #### =()<_PATH_COMPRESSEXT @<_PATH_COMPRESSEXT>@>()=
    _PATH_COMPRESSEXT .gz
  - ## Where egrep lives (you might need the FSF one; see scanlogs)
    #### =()<_PATH_EGREP @<_PATH_EGREP>@>()=
    _PATH_EGREP /usr/local/bin/egrep
  - ## Where inews lives.
    #### =()<_PATH_INEWS @<_PATH_INEWS>@>()=
    _PATH_INEWS /usr/local/news/bin/inews
  - ## Where rnews lives.
    #### =()<_PATH_RNEWS @<_PATH_RNEWS>@>()=
    _PATH_RNEWS /usr/local/news/bin/rnews
  - ## Where generic authentication programs live.
    #### =()<_PATH_AUTHDIR @<_PATH_AUTHDIR>@>()=
    _PATH_AUTHDIR /usr/local/news/bin/auth
  - ## Where the NNRP server lives.
    #### =()<_PATH_NNRPD @<_PATH_NNRPD>@>()=
    _PATH_NNRPD /usr/local/news/bin/nnrpd
  - ## The path of the process run when an unknown host connects to innd.
    ## Usually the same as _PATH_NNRPD, but may be, e.g., the path to
    ## nntpd from the reference implementation.
    #### =()<_PATH_NNTPD @<_PATH_NNTPD>@>()=
    _PATH_NNTPD /usr/local/news/bin/nnrpd
  - ## Where the NNQR server lives. Make same as _PATH_NNRPD for now
    #### =()<_PATH_NNQRD @<_PATH_NNRPD>@>()=
    _PATH_NNQRD /usr/local/news/bin/nnrpd
  - ## Where most other programs live.
    ## See also _PATH_RNEWSPROGS and _PATH_CONTROLPROGS, below.
    #### =()<_PATH_NEWSBIN @<_PATH_NEWSBIN>@>()=
    _PATH_NEWSBIN /usr/local/news/bin
  - ## Where temporary files live on the server
    #### =()<_PATH_TMP @<_PATH_TMP>@>()=
    _PATH_TMP /tmp
  - ## Command to send mail (with -s "subject" allowed)
    #### =()<_PATH_MAILCMD @<_PATH_MAILCMD>@>()=
    _PATH_MAILCMD /usr/bin/mailx
  - ## Where scripts should have shlock create locks.
    #### =()<_PATH_LOCKS @<_PATH_LOCKS>@>()=
    _PATH_LOCKS /var/local/news/locks
  - ## Where your GNU gzip binary is (for rnews to run on gzipped batches).
    #### =()<_PATH_GZIP @<_PATH_GZIP>@>()=
    _PATH_GZIP /usr/local/bin/gzip
- пути к спулу (создать директорию /news_mirror/news и линк на нее: /var/news)
  - ## Where rnews creates temporary files until finished
    #### =()<_PATH_SPOOLTEMP @<_PATH_SPOOLTEMP>@>()=
    _PATH_SPOOLTEMP /tmp
- пути программ, вызываемых из innd и rnews
  - ## Rnews may execute any program in this directory; see RNEWSPROGS.
    #### =()<_PATH_RNEWSPROGS @<_PATH_RNEWSPROGS>@>()=
    _PATH_RNEWSPROGS /usr/local/news/bin/rnews.libexec
  - ## Path to control messages scripts.
    #### =()<_PATH_CONTROLPROGS @<_PATH_CONTROLPROGS>@>()=
    _PATH_CONTROLPROGS /usr/local/news/bin/control
- сокеты (без изменений, т.к. есть ссылка /var/news -> /bbs_cd2/news
- журнал и файлы конфигурации:
- конфигурация innwatch: впоследствии вручную заменил в innwatch.ctl шаблоны (не сами строки) обращения к df на свой inndf
  - ## How inn (not just innwatch anymore) gets disk space usage
    ## (SVR4 machine would probably use /usr/ucb/df)
    #### =()<INNWATCH_DF @<INNWATCH_DF>@>()=
    INNWATCH_DF /usr/local/bin/df
  - ## Field number of INNWATCH_DF (with -i) output that gives free
    ## inodes (starting at 1).
    #### =()<INNWATCH_INODES @<INNWATCH_INODES>@>()=
    INNWATCH_INODES 4
- TCL пока не включаем
- PGP пока не включаем
- локальная конфигурация
  - ## Home of the NEWSUSER
    #### =()<_PATH_NEWSHOME @<_PATH_NEWSHOME>@>()=
    _PATH_NEWSHOME /usr/local/news
- actsync - пока не разбирался
- perl пока не включаем - нужна версия 5.003, а у меня 4 (не отломятся ли какие мои скрипты от перехода?)
В этом чертовом Солярисе poll работает не совсем так, как ожидает inn (заточенный под BSD), в файлах innd/chan.c и innd/nc.c уже поставлена заплатка
#ifdef POLL_BUG
...
#endif
но, к сожалению, POLL_BUG нигде не определяется, пришлось мне вставить в innd/innd.h:
#ifdef SUNOS5
#define POLL_BUG
#endif
после этого все ошибки (cant read Resource temporaly unavailable, приводящие к разрыву соединения), исчезли.
Добавляем /usr/ccs/bin в PATH и говорим:
cd $inn
make world
Злобно ругается насчет lint, ну и пусть!
cat */lint
Ошибок быть не должно.
Конфигурируем (только один раз!):
cd $inn/site
make all
(копируются образцы файлов с описанием конфигурации из samples)
Создаем структуру директорий (только один раз! если что поменять, выпутывайся сам):
cd $inn
chmod u+x makedirs.sh
становимся суперпользователем и запускаем
makedirs.sh -p
устанавливаем софт (опять-таки из-под суперпользователя) - заметьте, что файлы с конфигурацией не устанавливаются:
cd $inn
make update
(inndstart должен принадлежать суперпользователя - сделай это ручками)
Теперь заходим в $inn/site и правим там все файлы конфигурации ;)
- как обрабатывать управляющие сообщения
  - checkgroups - не менять
  - control.ctl - убрать проверку PGP, которой пока нет
  - default - не менять
  - docheckgroups - не менять
  - ihave - не менять
  - newgroup - не менять
  - parsecontrol - не менять
  - rmgroup - не менять
  - sendme - не менять
  - sendsys - не менять
  - senduuname - не менять
  - version - без изменений
  - writelog - без изменений
  - pgpverify - не трогать
- скрипты, вызываемые из cron или при загрузке
  - innlog.pl - был innlog.awk: что делать?
  - innstat - не менять
  - news.daily - вставить мой кусок, связанный со сбором имен news-серверов
  - rc.news - не менять
  - scanlogs - добавить подсчет объемов статей, полученных из разных источников (в оригинале считается только количество статей)
    awk '{print $5, $7}' | sort | awk -f sum.awk
  - tally.control - не менять
  - tally.unwanted - не менять
- утилиты для посылки статей соседним серверам
  - nntpsend - не трогать
  - nntpsend.ctl - не трогать
  - send-ihave - не менять
  - send-nntp - не менять
  - send-uucp - не трогать
  - sendbatch - не трогать
- локальная конфигурация:
  - expire.ctl - здесь надо проявить бездну фантазии
  - hosts.nntp - здесь перечислены имена хостов, которые будут нас питать (ns.aha.ru, news.demos.su, news.rosprint.net, deolws.deol.ru), для всех других адресов будет запускаться nnrpd
  - inn.conf - сведения о сервере
  - moderators - не трогать
  - newsfeeds - это основной файл, описывающий, что принимать (ME), и что/кому/как пересылать, так что тщательнЕе!
  - nnrp.access - адреса и пароли, кому что можно читать и писать (с auth разобраться)
  - passwd.nntp - а это еще зачем?
- полезные утилиты (все потом):
  - inncheck
  - innwatch
  - makegroup
  - innreport
  - scanspool
теперь устанавливаем конф. файлы на места:
cd $inn/site
make install
откуда-то берем файл active
а так делают history с нуля:
touch $HISTORY
cd ${HISTORYDIR}
${NEWSBIN}/makehistory -r -i
mv history.n.dir history.dir
mv history.n.pag history.pag
теперь можно вставить rc.news куда-нибудь в /etc/rc2.d/S99news и запустить его (параметра start нет)

INN 2.2.1 на Red Hat Linux 6.0 ( +update)

Требует Perl 5, PGP, Tcl.

Группа - news (13). Добавить себя в нее. Пользователь news (9), без пароля, домашняя директория - /var/spool/news. Основные затраты на емкость диска: /var/lib/news (управляющие БД - active, history и т.п.), /var/log/news, /var/spool/news (сами статьи, архивы, очереди - перенести на самый быстрый и емкий диск, а лучше RAID, и сделать link).

Сделать 3 дырки в firewall:

дырку в локальной защите хоста
доступ из Интернет на данный хост к 119 порту
доступ клиентов на данный хост к 119 порту

Приходит в виде пакетов:

inn-2.2.1-1
- задачи для cron (
  - /etc/cron.daily/inn-cron-expire (/usr/bin/news.daily delayrm; добавить параметры: norenumber, expireover и имена своих программ)
  - /etc/cron.daily/inn-cron-rnews (/usr/bin/rnews -U)
  - /etc/cron.hourly/inn-cron-nntpsend (/usr/bin/nntpsend)
- конфигурация (/etc/news)
  - /etc/news/actsync.cfg (конфигурация actsync - автоматическое изменение списка newsgroup)
  - /etc/news/actsync.ign ( -//- )
  - /etc/news/control.ctl (как обрабатывать управляющие сообщения)
    команда-или-all:шаблон-email-в-стиле-shell-case:шаблон-имени-группы-в-стиле-shell:действие
    Строки просматриваются по порядку. Используется последняя подошедшая.
    Возможные действия:
    - doit
    - doifarg
    - doit=отдельный-журнал
    - doit=mail
    - doit= (без журнализации)
    - drop
    - verify-...
    - log (запись в журнал - errlog)
    - log=отдельный-журнал
    - mail
    Если не установлен PGP, то безопаснее всего сделать
    all:*:*:drop
    т.е. не делать никакой обработки вообще (остаток файла удалить, а не закомментировать, чтобы быстрее обрабатывался ;)
  - /etc/news/cycbuff.conf (конфигурация метода хранения CNFS, если он вообще используется)
  - /etc/news/distrib.pats (используется программами посылки статей - типа inews - для определения области распространения статьи - заголовок Distribution:; область распространения определяется по шаблону newsgroup и приоритету, если группа подпадает под несколько шаблонов; пусть будет пустой)
  - /etc/news/expire.ctl (управляющий файл для expire - удаление старых статей; метод хранения CNFS самостоятельно удаляет старые статьи; определяется также сколько времени хранить в history информацию о уже удаленных или отвергнутых статьях:
    /remember/:дней
    остальные строки задают шаблоны для вычисления времени хранения статьи из определенной группы (используется последняя подходящая строка); надо аккуратно распределить имеющееся место на диске с учетом флуктуаций объема feed-а и объема отдельных иерархий и их полезности (fido, relcom - две недели, бинарники - два дня и т.п.):
    шаблоны-имени-группы-через-запятую:флаг:min:default:max
    где
    - шаблон как в sh
    - флаг
      - A (все группы)
      - M (только модерируемые)
      - U (только немодерируемые)
      - X (все группы, если статья было послана в несколько групп и попала под данный шаблон, то удалить ее ме только из данной группы, но и из всех остальных; очень удобно для вычищения бинарников изо всех кросспостингов - expire ругается на этот флаг)
    - min (минимальное число дней хранения - плавающее число или never)
    - default (число дней хранени по умолчанию - плавающее число или never)
    - max (максимальное число дней хранения - плавающее число или never)
  - /etc/news/incoming.conf (кому разрешено питать нас; раньше был hosts.nntp; определяются значения по умолчанию, для отдельных хостов и групп; значения задаются в виде: имя, двоеточие, пробел, значение:
    - hostname: список полных доменных имен хостов или десятичных IP-адресов через запятую
    - streaming: true | false (разрешен ли потоковый режим feed-а; по умолчанию - да)
    - max-connections: максимальное число параллельных соединений; по умолчанию - 0 - бесконечность)
    - password:
    - patterns: шаблон (как в newsfeeds) групп, принимаемых с этого хоста; по умолчанию: *
    - email: зарезервировано
    - comment: зарезервировано
    - skip: зарезервировано
    - noresendid: true | false (должен ли innd посылать ответ "431 RESENDID" в потоковом режиме и "436 Retry later" в непотоковом в ответ на попытку соседа послать статью, которая уже была принята от другого соседа; по умолчанию - false; говорят полезно, если сосед использует innfeed - включить?)
    Отдельно стоящие значения задают значения по умолчанию. Отдельный сосед, которому позволено питать нас, описывается в виде:
    peer имя {
    ═значения
    }
    Могут быть определены группы хостов, состоящие из хостов и вложенных групп:
    group имя {
    ═значения по умолчанию для группы или описание соседа или описание подгруппы
    }
  - /etc/news/inn.conf (основной конфигурационный файл; по одной строке на параметр: имя, двоеточие, пробел, значение; рекомендуется пройтись по inn.conf(5) и заполнить все 150 параметров)
    - fromhost (подставляется в заголовок From: локальных статей)
    - moderatormailer (имя хоста, содержащего таблицу алиасов для отправки статей модераторам групп; лучше вместо этого использовать файл moderators)
    - organization (этот текст будет подставляться в заголовок Organization: локальных статей)
    - pathhost (этот текст будет добавляться в заголовок Path всех проходящих статей)
    - server (когда nnrpd хочет послать статью и не находит локальный NNTP сервер; используется также nntpget, getlist и actsync)
    - domain
    - overviewmmap (будут ли expire, nnrpd и makehistory использовать mmap для доступа к overview; для Linux - true)
    - storageapi (false для традиционного метода хранения статей; true - для хешированных имен или кольцевых буферов -cnfs)
      - традиционный метод - каждая статья в отдельном файле; каждая группа - в директории с соответствующим именем; самый медленный метод, но легко управляемый и работают все стандартные и нестандартные утилиты
      - хешированные имена - каждая статья хранится в отдельном файле, но имена выбираются исходя из ускорения доступа к файлам; чуть быстрее, но некоторые утилиты могут не работать
      - CNFS - все статьи сваливаются в кольцевые буфера; есть возможность группировки статей по определенным критериям; когда место заканчивается, то старые статьи автоматически стираются; expire не нужен; самый быстрый; трудно управлять временем хранения статей; подозреваю, что не все ошибки вычищены; нестандартные утлиты не работают
    - maxforks: 10
    - maxartsize (максимальный размер статьи, интересный вопрос, по умолчанию - 1000000)
    - nicekids (0; давать порождаемым процессам - nnrpd - низший приоритет)
    - nicenewnews (0; давать еще более низший приоритет nnrpd, обрабатывающему команду newnews)
    - mta (программа, используемая для посылки почтой модерируемых статей и в innmail; установлено /usr/sbin/sendmail -oi %s, но не проверено)
    - mailcmd (программа для посылки отчетов и при обработке управляющих сообщений, обычно innmail)
    - verifycancel (проверять, что cancel выдает тот же человек, что и исходное сообщение; по обратному адресу?)
    - logcancelcomm (сбрасывать в syslog сообщения о выполнении cancel - не надо)
    - wanttrash (сохранять статьи для несуществующей группы в группе junk - не стоит)
    - remembertrash (запоминать отвергнутые статьи в histoty)
    - linecountfuzz (исправлять ли заголовок Lines: - оставить 0 - не исправлять)
    - logartsize (запоминать в журнале размер статьи)
    - logipaddr (сбрасывать в журнал - какой? - IP-адрес вместо значения из заголовка Path:; у меня включено, но IP-адреса я нигде на нашел)
    - logsitename (сохранять имя хоста в журнале полученных статей - /var/log/news/news)
    - overviewname (имя файла для хранения overview; для каждой группы - свой; по умолчанию - .overview)
    - extendeddbz (ускоряет работу с overview за счет увеличения втрое dbz файла; требует storageapi; не работает при DBZ TAGGED HASH)
    - nnrpdoverstats (сбрасывать в syslog статистку overview для nnrpd)
    - storeonxref (при использования нестандартного метода хранения использовать Xref: вместо Newsgroup:)
    - nnrpdcheckart (nnrpd будет не только читать overview, но и проверять реальное наличие статьи)
    - storemsgid (хранить Message-ID в history)
    - usecontrolchan (использовать канал для обработки управляющих статей (кроме cancel) вместо запуска отдельных программ; требует конфигурации controlchan в newsfeeds и существования группы control.cancel; включить, если будет замечен "шторм", с которым сервер не справится)
    - mergetogroups (сливать to.* в to, зачем?)
    - keywords, keylimit, keyartlimit, keymaxwords - генерация (индекса?) ключевых слов в overview; д.б. включен при компиляции; при изменении небходимо пересобрать overview (это где-то используется?)
    - refusecybercancel (отвергать статьи, Message-ID, которых начинается с cancel)
    - activedenable, activedupdate, activedport═(использовать вспомогательный процесс для буферизации доступ nnrpd к файлу active, включить)
    - noreader (если включить, то innd перестанет запускать nnrpd для каждого соединения, запрошенного с непитающего хоста; полезно, если у нас транзитный узел или nnrpd запускается как демон)
    - pathnews, pathbin, pathfilter, pathcontrol, pathdb, pathetc, pathrun, pathlog, pathhttp, pathtmp, pathspool, patharticles, pathoverview, pathoutgoing, pathincoming, patharchive, pathuniover - что где лежит (pathtmp д.б. на том же разделе, что и pathincoming, ибо делается rename)
    - backoff* (ограничение на количество статей, посылаемых локальными клиентами с помощью nnrpd,;думаю, что backofftrigger = 100 достаточно)
    - readertrack (можно использовать, чтобы отслеживать кто именно пользует nnrpd, если динамически генерировать nnrpd.track)
    - strippostcc (nnrpd будет обрезать To:, Cc: и Bcc:)
    - nnrpperlauth (аутентифицировать читателя nnrpd с помощью внешней программы на perl вместо nnrp.access)
    - pathalias (добавлять это строку перед pathhost)
    - hiscachsize (0; позволяет увеличить скорость приема статей за счет памяти; если несколько innfeed, то рекомендуется 256)
    - xrefslave (использовать Xref: входящих статей для размещения их у себя; фактически slave-режим; nnrpdposthost должен указывать на мастер-сервер)
    - nnrpdposthost, nnrpdpostport (nnrpd и rnews будут отправлять статьи на этот сервер; используется ihave, так что надо иметь права на feed для этого сервера)
    - wireformat (хранить статьи в том же формате, что и при передаче - CR LF в конце каждой строки и удвоение точки в начале строки)
    - writelinks (иначе в history будет записываться имя только первой группы; полезно для транзитных узлов, которые не занимаются кросспостингом)
    - status (регулярный сброс статистики на syslog, попробовать 300)
    - timer (регулярный сброс загруженности на syslog, попробовать300)
    - peertimeout (сколько секунд входной канал м.б. неактивным, прежде чем innd его закроет)
    - readerswhenstopped (разрешать читать статьи даже при паузе или throttle)
    - allownewnews (true; лучше выключить, иначе один клиент будет способен подвесить сервер; пока оставил)
    - chaninacttime, chanretrytime═(сколько секунд channel м.б. неактивным, прежде чем innd его закроет)
    - maxconnections (число одновременных NNTP соединений)
    - artcutoff (статьи старее указанного числа дней выкидываются; по умолчанию - 14)
    - nntplinklog (записывать в журнал сообщения nntplink)
    - nntpactsync (сколько статей обрабатывать между записями в журнал; по умолчанию - 200)
    - badiocount (сколько ошибок ввода/вывода допускать, не закрывая канал; по умолчанию - 5)
    - pauseretrytime (пауза между проверками канала на неактивность)
    - blockbackoff (мультипликатор паузы в backoff)
    - icdsynccount (10 статей; как часто синхронизовать active и history, tradeoff между надежностью и эффективностью)
    - bindaddress (IP адрес в десятично-точечной нотации; к какому интерфейсу прислушиваться; all - ко всем)
    - sourceaddress (IP адрес в десятично-точечной нотации; какой адрес будут иметь исходящие пакеты; any - будет выбран операционной системой)
    - port (какой порт будет прослушиваться; 119)
    - checkincludedtext (nnrpd будет проверять, чтобы посылаемые клиентом статьи имели менее 50% цитирования; определяется по знаку ">" в первой позиции)
    - localmaxartsize (максимальный размер посылаемых через nnrpd статей; 100000)
    - mimeversion (nnrpd будет добавлять MIME-заголовки)
    - mimecontenttype (если добавляются MIME-заголовки, то здесь определяется значение заголовка Content-Type:)
    - mimeencoding (если добавляются MIME-заголовки, то здесь определяется значение заголовка Content-Transfer-Encoding)
    - spoolfirst (если true, то nnrpd помещает статью от клиента в спул даже не пытаясь обратиться к innd; если false - помещает ее в спул только при получении сообщения об ошибке при посылке)
    - complaints (добавляется заголовок X-Complaints-To: с email адресом службы abuse)
    - articlemmap (использовать mmap при доступе к статье в спуле)
    - clienttimeout (600; сколько секунд позволять клиенту nnrpd "висеть" ничего не делая)
    - innflags (флаги, передаваемые innd при запуске)
    - doinnwatch (запускать ли innwatch)
    - innwatchsleeptime (промежутки между проверками innwatch в секундах)
    - использовати ли pgp при проверке управляющих сообщений)
    - controlfailnotice (посылать администратору письма об ошибках обработки управляющих сообщений; не работает при включенном controlchan)
    - logcycles (сколько копий старых журналов сохранять)
    - innwatchpauseload (средняя загрузка, умноженная на 100, при которой innwatch будет переводить innd в режим ожидания)
    - innwatchhiload (средняя загрузка, умноженная на 100, при которой innwatch будет переводить innd в режим throttle)
    - innwatchloload (средняя загрузка, умноженная на 100, при которой innwatch будет возвращать innd в нормальный режим)
    - innwatchspoolspace (размер свободного места на устройстве, хранящем articles и overview, в единицах inndf, при достижении которого innwatch переводит innd в режим throttle)
    - innwatchbatchspace (размер свободного места на устройстве, хранящем outgoing, в единицах inndf, при достижении которого innwatch переводит innd в режим throttle)
    - innwatchlibspace (размер свободного места на устройстве, хранящем db - history, active и др. - , в единицах inndf, при достижении которого innwatch переводит innd в режим throttle; для работы expire требуется удвоение файлов history и active, так что здесь необходимо число не меньшее их суммарного размера)
    - innwatchspoolnodes (число свободных inode-ов на устройстве, хранящем articles и overview, в единицах inndf, при достижении которого innwatch переводит innd в режим throttle)
    - docnfsstat (запускать ли cnfsstat; нужен тоько при использовании метода хранения статей CNFS)
  - /etc/news/innfeed.conf (конфигурационный файл для innfeed)
  - /etc/news/innreport.conf (конфигурационный файл для innreport; описания нет; править по образцу; интересна только первая секция, в которой надо включить выдачу в HTML и графику (GD.pl) и архивацию отчетов; в остальных секциях описывается формат выдачи, там менать нечего, разве что отключить неинтересные секции вовсе)
  - /etc/news/innwatch.ctl (конфигурационный файл для innwatch, см. также innwatch* в inn.conf)
    Каждая строчка определяет одну проверку и состоит из семи полей, разделенных одним символом, и начинается с того же символа. Разделитель полей един для всей строки и выбирается из списка: восклицательный знак, запятая, двоеточие, at sign, точка с запятой или вопросительный знак; в зависимости от того какой знак из вышеперечисленных не встречается внутри полей в этой строке. Поля (разночтения между документацией и образцом, явно было две линии развития):
    - в какое состояние переходить, если проверка успешна (метка); по умолчанию - номер строки; используется также в ctlinnd; начальное состояние "run";
    - состояние, в котором выполнять проверку, определяемую данной строкой; по умолчанию "-"; можно использовать список состояний или специальные значения:
      - "-" - текущее состояние есть "run" или совпадает с первым полем строки
      - "+" - текущее состояние есть "run"
      - "*" - в любом состоянии
      - "-состояние" - если текущее состояние отлично от указанного
    - команда проверки, выполняемая в sh; должна возвращать код возврата, равный 0, в случае успеха и одно целое число на стандартный вывод
    - оператор сравнения результатов выполнения команды проверки с лимитом (lt, gt, eq, le, ge, ne)
    - лимит
    - выполняемая при успешной проверке команда
      - exit (завершить работу innwatch)
      - throttle (если проверка успешна и текущее состояние не совпадает с первым полем, то вызвать ctlinnd throttle; если неуспешна и текущее состояние совпадает с первым полем, то вызвать ctlinnd go; если были в состоянии "run")
      - pause (аналогично, но используется ctlinnd pause)
      - shutdown (ctlinnd shutdown)
      - flush (ctlinnd flush)
      - go (ctlinnd go и перейти в состояние "run")
      - skip (игнорировать результаты сравнения; а команда выполняется?)
    - комментарий (используется для передачи в ctlinnd); для того, чтобы другие хосты могли понять причину остановки, рекомендуется в начале комментария использовать стандартный текст: "No space" или "loadav"
  - /etc/news/moderators - когда nnrpd или inews получает статью от клиента и выясняется, что она послана в модерируемую группу, то вместо того, чтобы послать ее innd, он посылает ее по email модератору этой группы. В данном файле задаются шаблоны для определения адреса модератора по имени группы. Каждая строка состоит из двух полей, разделенных двоеточием. В первом поле указывается шаблон имени группы (как в sh). Во втором поле указывает email адрес. Строка "%s" в адресе заменяется на имя группы с подстановкой точек на минусы (только одна замена). Используется первая подходящая строка.
  - /etc/news/motd.news - содержимое этого файла клиент получит, выдав команду "LIST MOTD"
  - /etc/news/news2mail.cf (конфигурационный файл для news2mail)
  - /etc/news/newsfeeds - управляет как распределяются приходящие статьи. Каждая строка представляет собой отдельное правило, состоящее из 4 полей, разделенных двоеточиями:
    - имя-сайта/список-исключений-через-запятую. Первым сайтом в файле д.б. сайт с именем ME (и единственным). Если он имеет список шаблонов групп, то этот список добавляется в начало списков остальных сайтов.
      - имя сайта получателя записывается в журнал; если имя сайта уже═встречается в Path:, то статья на него не посылается; для локальных имен (всяких программ обработки типа overchan, archive и т.д) рекомендуется добавлять восклицательный знак в конце, чтобе не пересечься с реальным именем сайта; в качестве имени сайта получателя обычно выбирается то имя, которое этот сайт вставляет в Path: при обработке статьи
      - список исключений - список имен сайтов через запятую; для каждого имени делается аналогичная проверка - не встречается ли он в Path:. Часто используются имена генераторов управляющих сообщений: cyberspam, spewcancel, bincancel
    - список-шаблонов-имен-групп-через-запятую/список-областей-распределения-через-запятую
      - список шаблонов в формате wildmat (sh) определяет какие группы будут посылаться на сайт получатель. Восклицательный знак в начале шаблона означает отрицание. Наибольший приоритет имеет последнее соответствие. Если вместо "!" использовать "@", то статья из соотвествующей группы не будет посылаться на данный сайт даже если она cross-posted в группу, подлежащую посылке
      - область распространения дополнительно ограничивает список рассылаемых статей: если статья имеет заголовок Distribution: и определен список областей распространения (текстовые строки, не шаблоны) для данного сайта получателя, то ини должны соответсвовать друг другу. Правила записи аналогичны правилам записи шаблонов (отрицание, приоритеты). Если статья имеет несколько областей распространений, то используется логическое "ИЛИ".
    - список-флагов
      - меньшеsize - статья посылается, если ее размер меньше указанного числа байт
      - >size - статья посылается, если ее размер больше указанного числа байт
      - Ac - не посылать управляющие сообщения
      - AC - посылать только управляющие сообщения
      - Ad - только статьи с заголовком Distribution:
      - Ae - только если заголовок Newsgroups: статьи содержит только те группы, которых имеюся в active
      - Ap - не проверять наличие имени сайта получателя в Path: до рассылки (но список исключений проверять)
      - Bhigh/low - если сайт питаем через файл, канал или exploder, то организуется буфер передачи на сайт, high задает число байт при превышении которого буфер начинает опустошаться, low - когда он перестает опустошаться
      - Fимя-файла - задает имя файла для спула, имя либо абсолютно, либо относительно outgoing
      - Gчисло - посылать статью, если она послана не более чем в указанное число групп
      - Hчисло - посылать статью только если в Path: накопилось не более указанного числа хостов
      - Iразмер - величина внутреннего буфер после которого данные начинают сбрасываться в файл
      - Nm - только модерируемые группы
      - Nu - только немодерируемые группы
      - Pприоритет - число от 0 до 20, которое будет назначено программе или каналу (через команду nice)
      - Oшаблон - требуется наличие заголовка X-Trace и первое поле в нем должно соответствовать шаблону
      - Sразмер - если в очереди к данному сайту образовалось больше указанного размера байт, то innd переходит в режим спулинга - сбрасывает во временный файл (см. флаг F)
      - Tтип - способ передачи статей на сайт
        
        c - канал
        f - файл
        l - только запись в журнал (статистику собирать очень удобно)
        m - funnel
        p - программа
        x - exploder
      - Wполе - если передача через файл, канал или exploder, то здесь указывается какую информацию туда записывать. Можно использовать несколько флагов. По умолчанию: Wn. Поля будут записаны в указанном порядке и разделяться пробелами. Программы понимают только поле "*":
        
        b - размер статьи в байтах
        f - полное имя файла статьи
        g - имя первой группы
        h - hash ключ Message-ID
        m - Message-ID
        n - имя файла статьи относительно спула
        p - время посылки статьи (секунд от начала эпохи)
        s═- откуда пришла статья (из Path: или IP адрес в зависимости от logipaddr в inn.conf)
        t - время получения статьи (секунд от начала эпохи)
        * - имя funnel entry или имена всех сайтов, получающих данную статью
        D - значение заголовка Distribution: ("?" если не было)
        H - все заголовки
        N - заголовок Newsgroups:
        P - заголовок Path:
        O - данные overview для overchan; д.б. единственным флагом
        R - данные для репликации
    - параметры - формат зависит от способа посылки статей на сайт
    Способы посылки статей (на самом деле innd не рассылает статьи , а генерирует для каждого сайта список статей, котоые надо на него послать):
    - журнал (эквивалент Tf в /dev/null) - делается только запись в журнале /var/log/news/news
    - файл - для каждой статьи в файл, определяемый полем параметры, записывается одна строка. По умолчанию, имя файла - outgoing/имя-сайта. Когда сайт сбрасывается (см. flush в ctlinnd), то innd сбрасывает в него остатки буферов и закрывает. Затем открывает снова. Соответственно скрипт, который вызывает ctlinnd должен предварительно переименовать файл и вызвать ctlinnd, после чего переименованный файл можно использовать. Новые данные начнут записываться в новый файл.
    - программа - для каждой статьи запускается новый экземпляр программы. Поле параметров д.б. в формате sprintf(3), в который вместо %s подставляется имя файла статьи относительно спул-директории. Получившийся результат подается на стандартный ввод программы. Стандартный вывод и ошибки будут записаны в файл errlog (inn.conf). UID и GID будут взяты равными owner и group директории pathrun (inn.conf). Имя программы д.б. абсолютным. innd старается не запускать лишних экземпляров sh.
    - канал - в поле параметры задается полное имя программы, которая запускается при старте innd. На каждую статью получившийся процесс получает одну строку на стандартный ввид. Стандартный вывод, ошибки, UID и GID как для случая программы. Если процесс уже запущен, он перезапускается. Если процесс не удается запустить, то образуется спул в outgoing/имя-сайта. innd делает еще попытки запустить процесс позднее. Когда сайт сбрасывается (см. flush в ctlinnd), то innd сбрасывает в него остатки буферов и закрывает свою сторону pipe. Все, что не удалось сбросить, записывается в спул (см. флаг S). Сигнал не посылается, программа должна сама заметить конец файла. После этого innd запускает новый экземпляр программы.
    - exploder - особый подтип канала (пример: buffchan), кроме обычных статей на него могут быть посланы команды. Команда предваряется восклицательным знаком. Автоматически генерируются команды:
      - newgroup имя-группы
      - rmgroup имя-группы
      - flush
      - flush имя-сайта
      Можно послать любую команду с помощью ctlinnd send.
    - funnel - слияние нескольких потоков в один (из вышеупомянутых типов). Поле параметр определяет реального получателя.
    Используемые примеры:
    - принимаемые статьи (уменьшить количество cancel-статей):
      ME/cyberspam,bincancel :*,!junk,!control*,!foo.*::
    - генерация overview (тип - канал; используемая программа - overchan; сбрасывается информация специально для overview; при заторах более 30КБ образуется спул в файле - outgoing/overview! - и что с ним делать?):
      overview!:*:Tc,WO,S30000:/usr/bin/overchan
    - генерация списка news-серверов (тип - канал; результат работы ═программы pre_path_parsing.sh дописывается в файл - разбиение заголовка Path: на отдельные хосты и фильтрация мусора; на вход ей подается содержимое заголовка Path:; иметь процедуру для ежедневной сортировки/слияния /var/spool/news/path_sort.sh и вызывать ее как параметр news.daily в /etc/cron.daily/inn-cron-expire)
      path!:*:Tc,WP:/var/spool/news/pre_path_parsing.sh >> /var/spool/news/paths
    - сохранение всех статей, посланных местными клиентами (тип - канал, используемая программа - archive, на вход ей подаются относительные имена файлов, содержащих статьи):
      local-archive!/список-внешних-источников :*:Tc,Wn:/usr/bin/archive -a /var/spool/news/archive/local -i ═/var/spool/news/archive/local/INDEX
    - сбор ежедневной статистики о том сколько статей было принято в каждую группу и какой они имели размер (тип - канал; результат работы ═программы group_stat.sh - преобразование из формата "размер список-групп-статьи" в формат "имя-группы размер" - дописывается в файл; на вход ей подается размер статьи в байтах и список групп для каждой статьи; иметь процедуру для ежедневной сортировки/слияния group_stat_sort.sh, которая генерирует и сжимает файлы с именами group_stat.sum.дата - сколько байт попало в каждую группу - ═и group_stat.count.дата - сколько статей попало в каждую группу за истекший период -, самые толстые вперед; эти файлы можно использовать для генерации Top100; вызывать ее как параметр news.daily в /etc/cron.daily/inn-cron-expire═):
      group_stat!:*:Tc,WbN:/var/spool/news/group_stat.sh >> /var/spool/news/group_stat
    - uplink (тип - файл; для каждой статьи - относительное имя файла и Message-Id; см. /etc/cron.hourly/inn-cron-nntpsend):
      news.rt.ru/список-внешних-источников:*:Tf,Wnm:news.rt.ru
  - /etc/news/nnrp.access - задает права доступа клиентов к nnrpd, состоит из строк вида (поиск подходящей производится по очереди; успешной считается последняя подошедшая; первой строкой рекомендуется ставить строку со звездочкой в качестве шаблона хостов и запретом на все) :
    шаблон-хостов:права-доступа:имя-пользователя:пароль:шаблон-имен-групп
    - шаблон-хостов задает шаблон для сравнения с хостом клиента и может использовать как имена, так и адреса с сетевой маской (полной или сокращенной)
    - перечень букв (или слов, начинающихся с соответствующих букв), которые определяют права клиента, зашедшего с соответствующего адреса:
      - R═- клиент имеет право на чтение
      - P - клиент имеет право на посылку
      - N - клиент может использовать команду NEWNEWS, несмотря на глобальный запрет
      - L - клиент может посылать статьи в группы с запретом на локальную посылку
      - полное имя файла - формат файла такой же как и основного, права доступа уточняются исходя из него 9проверки на рекурсию нет)
    - имя (пустое, если аутентификация клиента не нужна; знак "+" для использования /etc/passwd - могут быть проблемы с правами доступа к /etc/shadow)
    - пароль (пустой, если аутентификация клиента не нужна)
    - список шаблонов имен групп через запятую (формат как в newsfeeds, но по умолчанию - запрет доступа), к которым клиент должен иметь доступ;
  - /etc/news/nnrpd.track - позволяет nnrpd записывать в журнал доступа определенную строку текста вместо имени или адреса хоста клиента; необходима динамическая генерация для диалапных клиентов; состоит из строк вида:
    шаблон-имен-или-адресов-хостов:строка-идентифицирующая-пользователя
  - /etc/news/nntpsend.ctl - определяет список хостов, на которые nntpsend (innxmit) будет рассылать статьи, если имя хоста не указано явно при запуске - а оно не указано (см. пример с uplink вописании newsfeeds); каждая строка определяет отдельный хост:
    сайт:fqdn:size:параметры
    - сайт - имя, указанное в newsfeeds
    - fqdn - полное доменное имя хоста, на который должны быть посланы статьи
    - size - размер для shrinkfile для обрезания пакета заданий, если он станет слишком большим
    - параметры - параметры для innxmit (флаги "-a" и "-t 180" посылаются самостоятельно)
  - /etc/news/overview.ctl - используется для создания overview при использовании новых способов хранения статей (при стандартном способе хранения overview создается внешней программой overchan); overchan нужна в любом случае для создания индекса; для хранения overview используется файл /var/spool/news/overview/номер-индекса/overview; состоит из строк:
    номер-индекса:шаблон-имен-групп-как-в-newsfeeds
  - /etc/news/overview.fmt - определяет какие заголовки будут храниться в overview; каждая строка состоит из имени заголовка, двоеточия и м.б. слова full (если слово full присутствует, то для каждой статьи хранится не только тело заголовка, но и иего имя); после изменения необходимо удалить старый overview ═и построить новый с помощью expireover
  - /etc/news/passwd.nntp - пароли для доступа к соседним NNTP серверам (при необходимости); каждая строка определяет одного соседа (имя и/или пароль м.б. пустыми; стиль по умолчанию - authinfo)
    хост:[имя]:[пароль][:стиль]
  - /etc/news/storage.conf - определяет параметры для нестандартных методов хранения статей (разбиение на классы хранения исходя из имени группы, размера и заголовка Expire:); для каждого класса определяется своя структура хранения (см. cycbuff.conf, storageapi в inn.conf)
- скрипты для запуска/остановки
  - /etc/rc.d/init.d/innd
  - /etc/rc.d/rc.news
- программы
  - /usr/bin/actived - вспомогательный демон для nnrpd: держит в памяти проиндексированный active
  - /usr/bin/actmerge - слияние двух файлов active
  - /usr/bin/actsync - синхронизация, сравнение или слияние файлов active
  - /usr/bin/actsyncd - интерфейс к actsync
  - /usr/bin/archive - создание архивной копии части статей (например, посланных локально)
  - /usr/bin/auth - директория (?)
  - /usr/bin/batcher - разбивает на пакеты указанного размера список статей, подготовленных для посылки на хост
  - /usr/bin/buffchan - буферизованный feed для группы хостов
  - /usr/bin/cnfsstat - show snapshot of CNFS (?) (возможно в формате mrtg)
  - /usr/bin/controlbatch - скармливание пакетного файла канальному feed
  - /usr/bin/controlchan - позволяет передать обработку управляющих сообщений (кроме cancel) из innd внешней программе в форме пакетного или канального feed
  - /usr/bin/convdate - преобразование формата времени (например, -c преобразует из внутреннего формата Unix в человечвский вид, а -n - наоборот)
  - /usr/bin/crosspost - позволяет вынести обработку кросспостинга из innd во внешнюю программу
  - /usr/bin/ctlinnd - интерфейс для управления работающим innd
  - /usr/bin/cvtbatch - преобразует Usenet пакеты в формат INN
  - /usr/bin/expire - удаление старых статей не прерывая работы innd
  - /usr/bin/expireindex - удаление старых статей из overview index
  - /usr/bin/expireover - удаление старых статей из overview
  - /usr/bin/expirerm - удаление списка файлов (посредник между expire и fastrm) с журнализацией и извещением о проблемах
  - /usr/bin/fastrm - быстрое удаление группы файлов
  - /usr/bin/filechan - вызывается в качестве канального feed из innd
  - /usr/bin/getlist - получение списков (active, newsgroups и др.) от NNTP сервера
  - /usr/bin/grephistory - быстрое извлечение статьи по Message-ID (из history dbz)
  - /usr/bin/inncheck - проверка конфигурационных файлов
  - /usr/bin/innconfval - извлечение параметров из inn.conf и представление их для sh, perl и др.
  - /usr/bin/innd - основной сервер, принимающий feed и изменяющий базу данных
  - /usr/bin/inndf - быстрый df
  - /usr/bin/inndstart - пусковая программа для innd
  - /usr/bin/innfeed - пересылка (feed) пачки статей сразу нескольким NNTP-серверам
  - /usr/bin/innfeed-convcfg - преобразование innfeed.conf в новый формат
  - /usr/bin/innmail - безопасная форма mail
  - /usr/bin/innreport - обработка журналов
  - /usr/bin/innstat - выдать состояние сервера
  - /usr/bin/innwatch - мониторинг inn (есть ли место на диске и не слишком ли много ресурсов он потребляет)
  - /usr/bin/innxbatch - послать статьи в формате Usenet xbatch другому NNTP серверу
  - /usr/bin/innxmit - пересылка (feed) пачки статей другому NNTP-серверу
  - /usr/bin/mailpost - поместить письмо в news-группу
  - /usr/bin/makeactive - восстановление файла active по спулу
  - /usr/bin/makehistory - восстановление файла history по спулу
  - /usr/bin/mod-active - пакетная обработка ctlinnd newgroup/rmgroup/changegroup
  - /usr/bin/news.daily - подготовк аежедневного отчета
  - /usr/bin/news2mail - превращение статей в письма
  - /usr/bin/newsrequeue - перекомпоновка пакетов для дальнейшей рассылки
  - /usr/bin/nnrpd - отдельный процесс, предоставляющий клиентам доступ к статьям
  - /usr/bin/nntpget - взять статью с удаленного сервера
  - /usr/bin/nntpsend - оболочка для innxmit
  - /usr/bin/overchan - заполнение данных overview
  - /usr/bin/parsecontrol - анализ управляющих сообщений
  - /usr/bin/pgpverify - проверка управляющих сообщений
  - /usr/bin/procbatch - разбиение пакетов на куски
  - /usr/bin/prunehistory - замещение в history ссылок на файлы на пробелы для указанного Message-ID
  - /usr/bin/pullnews - тащить статьи с одного сервера и кормить ими другой
  - /usr/bin/rnews - получение статей с UUCP
  - /usr/bin/scanlogs - обработка журналов
  - /usr/bin/scanspool - поиск мусора в спуле
  - /usr/bin/send-ihave - посылка пакетов IHAVE
  - /usr/bin/send-nntp - подготовка и рассылка пакетов с помощью innxmit
  - /usr/bin/send-uucp - подготовка и рассылка пакетов через UUCP
  - /usr/bin/sendbatch - подготовка и рассылка пакетов через UUCP
  - /usr/bin/sendxbatches - подготовка и рассылка пакетов с помощью innxbatch
  - /usr/bin/shlock - использование lock файлов в sh
  - /usr/bin/shrinkfile - обрезание файла на границе строки
  - /usr/bin/simpleftp - ftp-клиент в режиме командной строки
  - /usr/bin/sm - интерфейс к хранителю статей (показать, удалить)
  - /usr/bin/startinnfeed - оболочка для innfeed (в режиме root увеличивает лимиты)
  - /usr/bin/tally.control - записывает удаленные/добавленные статьи (вызывается из scanlogs)
  - /usr/bin/writelog - запись в журнал inn
- обработка управляющих статей
  - /usr/bin/control/checkgroups
  - /usr/bin/control/checkgroups.pl
  - /usr/bin/control/default
  - /usr/bin/control/ihave
  - /usr/bin/control/ihave.pl
  - /usr/bin/control/newgroup
  - /usr/bin/control/newgroup.pl
  - /usr/bin/control/rmgroup
  - /usr/bin/control/rmgroup.pl
  - /usr/bin/control/sendme
  - /usr/bin/control/sendme.pl
  - /usr/bin/control/sendsys
  - /usr/bin/control/sendsys.pl
  - /usr/bin/control/senduuname
  - /usr/bin/control/senduuname.pl
  - /usr/bin/control/version
  - /usr/bin/control/version.pl
- фильтрация статей (у меня включен только perl, перезагрузка по ctlinnd reload filter.perl причина)
  - /usr/bin/filter/filter.tcl (tcl-фильтр не включен)
  - /usr/bin/filter/filter_innd.pl (содержит фильтры:
    - filter_art (вызывается для каждой статьи и решает впускать ее или нет)
    - filter_mode (вызывается при выполнении ctlinnd go/pause/throttle)
    - filter_messageid (вызывается для каждой статьи в режиме потока, получает на вход Message-ID и решает: пускать/не пускать; у меня не принимаются статьи (refuse, а не reject!), у которых Message-ID начинается со слова cancel - не работает )
  - /usr/bin/filter/filter_nnrpd.pl
  - /usr/bin/filter/nnrpd_auth.pl
  - /usr/bin/filter/startup.tcl (tcl-фильтр не включен)
  - /usr/bin/filter/startup_innd.pl (содержит процедуры - пока пустые -═filter_before_reload и filter_after_reload, вызываемые перед и после загрузки фильтров)
- программы пакетирования статей при использовании UUCP
  - /usr/bin/rnews.libexec
  - /usr/bin/rnews.libexec/c7unbatch
  - /usr/bin/rnews.libexec/decode
  - /usr/bin/rnews.libexec/encode
  - /usr/bin/rnews.libexec/gunbatch
- документация ()
  - /usr/doc/inn-2.2.1
    - ChangeLog
    - HISTORY
    - README
    - FAQ
    - примеры конфигурации
  - /usr/man/man1 (руководство пользователя): convdate.1, getlist.1, grephistory.1, innconfval.1, innfeed.1, installit.1, nntpget.1, rnews.1, shlock.1, shrinkfile.1, startinnfeed.1, subst.1
  - /usr/man/man5 (файлы конфигурации): active.5, control.ctl.5, cycbuff.conf.5, distrib.pats.5, expire.ctl.5, history.5, incoming.conf.5, inn.conf.5, innfeed.conf.5, innwatch.ctl.5, moderators.5, motd.news.5, newsfeeds.5, newslog.5, nnrp.access.5, nnrpd.track.5, nntpsend.ctl.5, overview.ctl.5, overview.fmt.5, passwd.nntp.5, storage.conf.5, storage.ctl.5
  - /usr/man/man8 (руководство администратора): actived.8, actsync.8, actsyncd.8, archive.8, batcher.8, buffchan.8, cnfsstat.8, controlchan.8, crosspost.8, ctlinnd.8, cvtbatch.8, expire.8, expireindex.8, expireover.8, expirerm.8, fastrm.8, filechan.8, inncheck.8, innd.8, inndf.8, innreport.8, innstat.8, innwatch.8, innxbatch.8, innxmit.8, mailpost.8, makeactive.8, makehistory.8, news-recovery.8, news.daily.8, news2mail.8, newslog.8, newsrequeue.8, nnrpd.8, nntpsend.8, overchan.8, pgpverify.8, prunehistory.8, pullnews.8, scanlogs.8, send-uucp.8, sm.8, tally.control.8, tally.unwanted.8, writelog.8
- вспомогательные программы
  - /usr/lib/docheckgroups
  - /usr/lib/innreport_inn.pm
  - /usr/lib/innshellvars
  - /usr/lib/innshellvars.pl
  - /usr/lib/innshellvars.tcl
- рабочие файлы
  - базы данных
    - /var/lib/news/.news.daily
    - /var/lib/news/active
    - /var/lib/news/active.times
    - /var/lib/news/distributions
    - /var/lib/news/history
    - /var/lib/news/newsgroups
    - /var/lib/news/subscriptions
  - журналы
    - /var/log/news
    - /var/log/news/OLD
    - /var/log/news/news.crit
    - /var/log/news/news.err
    - /var/log/news/news.notice
  - /var/run/news
  - собственно статьи
    - /var/spool/news/archive
    - /var/spool/news/articles
    - /var/spool/news/incoming
    - /var/spool/news/incoming/bad
    - /var/spool/news/innfeed
    - /var/spool/news/outgoing
    - /var/spool/news/overview
    - /var/spool/news/uniover
inn-devel-2.2.1-1 (а нужно ли это?)
inews-2.2.1-1 (а нужно ли это?)

Почему-то сконфигурирован для запуска на уровне 4(?!). Вручную настроил ссылки в /etc/rc.d/rc2.d и rc3.d.

При установке вносятся изменения в /etc/syslog.conf (news.notice /var/log/news/news.notice, news.=err /var/log/news/news.err, news.=crit /var/log/news/news.crit).

Журналы (/var/log/news):

news - список полученных статей
news.crit
news.err
news.notice
errlog - необработанные управляющие сообщения (исключительно попытки взлома)
expire.list (список файлов для удаления)
expire.log
inn.status (html-страница, обновляется каждые 5 минут)
nntpsend.log
unwanted.log
отдельные журналы для управляющих сообщений, если не поправить control.ctl

Если в newsfeed для какого-то сервера накапливаются статьи в файле:
═ ═ ══<имя хоста>:<шаблон имен групп>:Tf,Wnm:<имя файла=имя хоста для простоты>
не забудь в crontab занести строчку:
═ ═ ═5,35 * * * * /usr/local/news/bin/nntpsend <имя хоста> <полное имя хоста>
интервал подбирается по вкусу.

Что делать, если...

Что делать если надо, что-то поменять ═в программе (особенно config.data ;)

останови сервер
внеси изменения
сделай make world (в $inn)
(из-под суперпользователя зайди в $inn и скажи make update
запусти сервер

Что делать если надо, что-то поменять ═в конфигурационных файлах:

внеси изменения
cd $inn/site
make install
если не пошло, то сказать make what, и поправить эти файлы вручную, затем опять сказать make install
ctlinnd reload <что> <зачем>

Что делать, если нужно все статьи перенести с одного news-сервера на другой:

cd $SPOOL
find alt ... za > out.going/temp
innxmit host-name═ temp - лучше в цикле, пока файл не опустеет (на случай сбоев), можно ключи -dv для наглядности

Если в спуле завалялись файлы с прошлого года и хочется включить их в active/history, сделай:
═ ═makehistory -buv (пусть только сервер будет свободным в этот момент; или без ключей при выключенном сервере);
═ ═makeactive -mo > active.new (сервер д.б. выключен).

Мною исправлена ошибка в backends/archive.c (архивирование статей) в функции MakeArchiveDirectory(Name):
═ ═for (p = Name; *p; p++)
═ ═ ═ заменил на
═ ═for (p = Name+1; *p; p++)
═ ═ ═ а то он пытался создать директорию с пустым именем

Сохранение всех статей посланных локально (не из demos или mp.aha.ru) - в newsfeeds:
═ ═local-archive!/demos,mp.aha.ru:*:Tc,Wn:/usr/local/news/bin/archive -a /var/news/spool/archive/local -i /var/news/spool/archive/local/INDEX

Сбор и обработка статистики

Какие группы пользуются наибольшей популярностью? Извлекаем информацию из ежедневно собираемой статистики (nnrpd_groups_stats.sh):
awk '/by newsgroup/, /-------/ {print}' /var/mail/news | egrep -v '^$|by newsgroup|-------' ═| sort | awk -f /usr/local/bin/sum.awk | sort -nr +1

Трактовка отчета innreport:

refused - принимающая строна отказалась принимать статью
rejected - приняла, но выкинула
spooled - не успели пропихнуть и отложили до лучших времен
missed - пытались послать отложенную статью, но expire успел удалить ее с нашего сервера

Автоматическое добавление/удаление групп

Полагаться на управляющие статьи совершенно невозможно - засыплют мусором.

Успользуется шаблон для egrep, перечисляющий какие группы мы хотим иметь: wanted_groups_filter.egrep

Добавление групп по факту - если upstream посылает нам статью, а группы для нее нет, то группу надо создать. scanlogs создает специальный файл unwanted.log в /var/log/news, в который записывает имена несуществующих групп. Раз в сутки запускаем процедуру (add_unwanted_group.sh, add_unwanted_group.awk), которая разбирает этот журнал, немножко чистит от неправильных символов, фильтрует иерархии, на которые мы не подписаны вовсе (wanted_groups_filter.egrep), запускает ctlinnd newgroup (модерируемость определяется эмпирически) и сбрасывает журнал в архив. innd не хочет записывать в журнал имена групп длиннее 80 символов (заменяет конец имени на многоточие).

Удаление групп, не входящих в иерархии, на которые мы подписаны (remove_unwanted_group.sh, remove_unwanted_group.awk). Из active извлекается список групп, чистится от неправильных символов, фильтрует иерархии, на которые мы подписаны (а также местные и служебные группы - типа to, control и т.п.- wanted_groups_filter.egrep), и генерирует список команд ctlinnd rmgroup. Список рекомендуется просмотреть перед тем как запускать реальное удаление. К сожалению, группы удаляются только из active. Сами статьи и директории остаются. Предполагается, что статьи будут удалены со временем с помощью expire/expireover, а сами директории в процессе чистки мусора (например, с помощью ncc).

Чистка мусора

(был на http://www.backplane.com/news/newsprune203/) newsprune пробегает по всем директориям, соответствующим файлу active (к сожалению, остальные директории не просматривает), и генерирует список файлов, для которых нет соответствующей строки в history. Написан на Си. Понимает директории с числом в качестве имени и корректно обрабатывает только что добавленые статьи. Ключ -d8 включает отладочную печать (очень много, можно -d1 или -d2). Ограничение: 31 уровень иерархии. Обрабатывает покореженные active и history. Список подлежащих удалению файлов надо скормить fastrm или xargs rm. На миллион статей требует около часа. Памяти потребляет очень мало.

findmissing.pl генерит список файлов, найденных в спуле, но отсутствующих в histore. Этот список надо отредактировать (скрипт не умеет обрабатывать директории с именами из одних цифр) и скормить fastrm или xargs rm. На миллион статей надо 2.5 часа и 64МБ памяти. Но просматривает все директории (даже, если нет соответствующей строки в active).

Улучшенный findmissing.pl: ncc из newstools-1.3.tar.gz. Теперь он понимает числовые директории. К сожалению, программа осталась perl-овой (т.е. ресурсов ей надо много, 3.5 часа). Вдобавок ищет файлы с именами, не являющимися числами (почему-то называет их core). Удаление директорий, не имеющих соответствия в active: sort -nr ncc:bogus | awk '{print SPOOLDIR/$1}' | xargs rmdir.

scanspool делает полный просмотр спул-директории, включая проверку правильности заголовков статей. Описание внутри (использовать -v -n). Работает ОЧЕНЬ долго (сутки, если не останавливать innd). За это время innd успевает принять огромное количество новых статей и удалить старых. Ключ -c отключает проверку содержимого статей, время работы уменьшается до 3 часов.

Поиск пустых групп. history_to_groups_stat.sh (awk '{for(i=3;i<=NF;i++) print $i}' $HISTORY | awk -F/ '{print $1}' | sort | awk -f count.awk) выдает количество статей, полученных в каждой группе за последние 2 недели (интервал времени определяется в expire.ctl). Работает полчаса. Из 28 тысяч групп на нашем сервере: 11 тысяч - пустые, 3.5 тысячи - имеют по одной статье (частично, из-за ограничений по приему). find_empty_group.sh: изготавливаем из active список существующих на данный момент групп (не забыть sort -u). Изготавливаем с помощью history_to_groups_stat.sh список групп, имеющих право на существование (не забыть sort -u). С помощью comm -23 exist mustbe делаем список групп, которые надо удалить (отфильтровав из него локальные и служебные группы), затем генерируем список команд ctlinnd rmgroup. Список рекомендуется просмотреть перед тем как запускать реальное удаление. К сожалению, группы удаляются только из active. Сами директории остаются. Предполагается, что они будут удалены в процессе чистки мусора (например, с помощью ncc). К сожалению, удаляются группы, которые оказались пустыми по нашей вине (из-за ограничений на feed). Часть из них восстанавливается со временем, но если ограничения были поставлены на передающей стороне (например, через gup), то такие группы не появятся никогда.

Карта сайта

News

Автора!

Bog BOS: INN (news-сервер в стандарте NNTP)

Последние изменения:
2023.10.31: sysadmin: обновление статьи про TFTP