nqs

Batch System

Na stanicich hp10,hp18,sun4,sun6,sun7 byl dan do provozu batchovy system nqs. Setup se velmi blizi setupu pouzitemu na farmach shift a csf v CERNu. Dale byl instalovan system nqs++, ktery umoznuje posilani uloh mezi ruznymi stroji.

Stroje:

hp18,hp78,hp105,hp147,hp157,hp061b,hp062b,sun4,sun7,sun103: stanice ve FzU
atlas*.cern.ch: Workgroup Server Atlasu v CERNu (mozno posilat ulohy z techto stroju, ale ne na tyto stroje)
csf.cern.ch: Central Simulation Farm v CERNu
shift*.cern.ch: Shift Farma v CERNu

Fronty:

cpqX: extra short queue
cpqS: short queue
cpqM: medium queue
cpqL: long queue
cpqL: very long queue

Fronty ve FzU se lisi v definovanych parametrech:

queue	time limit [s]	memory limit [MB]	nice value	priority	queue run limit	user run limit
X	20	20	2	10	1	1
S	1500	100	5	20	3	1
M	10000	100	10	30	2	1
L	1000000	100	20	40	1	1
V	1000000	1	20	50	1	1
all	no	no	no	no	3	no

Nastaveni front na strojich v CERNu se dozvite z prislusnych manualu.

Zadavani uloh pomoci nqs++:
qsub [-h <stroj>] [-q <fronta>] <uloha>
napr.: qsub -h sun6 -q cpqS mojeuloha.nqs.
Timto zpusobem zadate ulohu pres sit na kterykoliv stroj, kde bezi nqs++. Protokol o behu ulohy dostanete az po jejim ukonceni. Jiz pri behu ulohy se ale muzete podivat na soubory, ktere prave pro ulohu existuji. Directory, kde uloha bezi, Vam je oznameno mailem.
Zadavani uloh pomoci nqs:
qsub-- [-q <fronta>] <uloha>
napr.: qsub -q cpqS mojeuloha.nqs.
Timto zpusobem zadate ulohu primo na stroj, kde prave pracujete. To znamena, ze protokol o behu ulohy je k dispozici jiz pri behu ulohy ve Vasi directory.
Dotaz na bezici nebo cekajici ulohy:
- Jen pro vlastni stroj:
  qstat [-h <stroj>]
- Pro vsechny stroje:
  qjob [-h <stroj>]
- Pro vsechny stroje pro vsechny uzivatele:
  qjob -a [-h <stroj>]
Dotaz na stav CPU:
NQSqhow -A [-h <stroj>]
napr.: NQSqhow -A -h csf.cern.ch
Zruseni ulohy:
qdel -9 [-h <stroj>] <cislo ulohy>
napr.: qdel -9 -h csf.cern.ch 312.hp10
Nastaveni default-hodnot:
qset [-h <stroj>] [-u <userid>] [-q <fronta>]
napr.: qset -h cas.cern.ch -u mojeid -q cpqM

Doporucena extention pro nqs-ulohy je .nqs. Pri pouziti teto extention je mozno pro zadavani uloh a dotazy na ulohy pouzivat nekterych uzitecnych vlastnosti systemu HP-VUE (dvojite tuknuti levym tlacitkem mysi submituje ulohu, prave tlacitko mysi ukaze menu Qsub,Edit,Qjob,Qstat). Neni-li pouzita dalsi option, objevi se vysledky v souboru STDIN.o<cislo ulohy> a chyby v souboru STDIN.e<cislo ulohy>.

Pokud zadavate ulohu mimo lokalni Ethernet (tj.mimo oblast lokalniho NFS), musite se postarat o to, aby uloha mela k dispozici vsechny soubory, ktere potrebuje a aby Vam vratila vsechny vysledky.

Pokud posilate ulohu na CERNske stroje, musite si na nich vytvorit ve sve directory soubor .rhosts s prislusnymi parametry.

Podrobnejsi informace naleznete v manualu csf nebo prikazem man <nqs-prikaz>.

Priklad nqs-jobu (test.nqs):

#!/bin/ksh
###################################################################
#@$-lt 200        # Time limit
#@$-r TEST        # Jmeno ulohy 
#@$-eo            # Spojeni STDOUT a STDERR         
#@$-mb            # Mail po rozbehnuti ulohy 
#@$-me            # Mail po ukonceni ulohy    
#@$-q cpqS        # Fronta           
#@$               # Konec nqs-direktiv           
###################################################################
#
# Pokud posilate ulohu na vzdaleny pocitac,
# musite poslat take vsechny potrebne soubory
# V tomto pripade soubor test.f

#
# Kazda uloha ma pridelenu pracovni directory
# To umoznuje, aby bezelo soucasne nekolik podobnych uloh
#
cd $WORKDIR
pwd
#
# Preklad a linkovani fortranskeho programu
# 
fort77 +ppu -O test.f \
  -L/cern/pro/lib \
  -lpawlib -lgraflib -lgrafX11 \
  -lpacklib  -lgenlib -lkernlib \
  /usr/lib/X11R4/libX11.sl \
  /lib/libm.sl \
  -o test.exe
#
chmod 755 test.exe
#
# Beh prelozeneho a zlinkovaneho programu
#
time test.exe 
#
# Ze vzdaleneho pocitace musite vsechny vysledky poslat zpatky
# Kratky textovy soubor muzete poslat treba takto: 
#
cat test.f | mailx hrivnac@hp10.fzu.cz
#
# Konec
#
exit

Poznamka pro systemove administratory.

J.H.14/9/94