Informatyka UJ forum

mateo · Wysłany: Pią 2:59, 31 Mar 2006 Temat postu: Testerka 2.0

Od paru dni mogliscie miec problemy z testowaniem na mojej testerce, bo najpierw mi sie przez przypadek skasowala cala testerka i wszystkie generatory testow, ktore mialem napisane itp. (jedynie testy sie nie skasowaly, bo byly na innym koncie). W kazdym razie przy okazji akurat instalowalem moja druga wersje testerki, ktora napisalem jakis rok po tej pierwszej wersji i ma ona poprawione wiele bledow pojawiajacych sie w pierwszej wersji, ale za to bylo w niej jeszcze sporo innych nowych bledow dlatego nie udostepnilem jej od razu. Z wygladu w sumie sie rozni niewiele od tego co bylo dotychczas, ale pod innymi wzgledami jest napewno duzo lepsza:) - tak mi sie przynajmniej wydaje. To bylo pisane kiedys tam z mysla o submitowaniu przez php... ale nigdy m sie tego nie chcialo skonczyc, a ze sam pisze wszystko pod linuxem wiec jest tylko mozliwosc testowania z lini polecen.... Kiedys moze to skoncze.. zobaczymy. No ale dla wszystkich fanow windowsa jest Gronostaj exemana wiec jest gdzie testowac.

Teraz testerka jest rozdzielona na dwa osobne skrypty:
QUICK_TEST - testowanie na testach ktora sa na stale u mnie zapisane
TEST_FINDER - wyszukiwanie testow na ktorych program daje zly wynik/przekracza limit czasu/dostaje RTE

URUCHAMIANIE:
Mozna ja odpalac tak jak dotychczas wpisujac
/users/sgistudent/2005/kwiatekm/testerka/testerka
i podajac argumenty w ten sam sposob (zostaniecie odpowiednio przekierowni),
a mozna tez (i tak wlasnie polecam) podajac nowe sciezki, czyli:
/users/sgistudent/2005/kwiatekm/testerka2/bin/QUICK_TEST (dla trybu 1)
/users/sgistudent/2005/kwiatekm/testerka2/bin/TEST_FINDER (dla trybu 0)

Sposob podawania argumentow wywolania (przy odpalaniu testerki z nowymi sciezkami) jest troche inny niz dotychczas. Nalezy wpisac:
QUICK_TEST (lub TEST_FINDER) <PLIK> [-t ZADANIE] [-l JEZYK]
wymaganym argumentem jest PLIK (koniecznie kod zrodlowy),
pozostale argumenty sa wymagane w zaleznosci od tego jak wyglada nazwa PLIKu, jesli jego rozszerzenie jest `.pas' `.c' lub `.cpp' to nie trzeba podawac jezyka programowania; podobnie jesli nazwa PLIKu bez rozszerzenia jest taka sama jak nazwa zadania to nie trzeba podawac ZADANIA jako argumentu -> zreszta wszystko to jest napisane w helpie, ktorego mozna zobaczyc wpisujac QUICK_TEST (lub TEST_FINDER) --help

No to tyle jesl chodzi o samo uzywanie testerki. Mam nadzieje ze to zrozumiale napisalem....

DOSTEPNE ZADANIA:
W kazdym trybie sa dostepne rozne zadanka...
QUICK_TEST --tasks, TEST_FINDER --tasks - te komendy wyswietlaja zadania dostepne w danym trybie testowania.

zadania dostepne w QUICK_TESTcie: A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, S, T, Y1.
zadania dostepne w TEST_FINDERze: A, B, --, D, E, F, G, H, I, J, K, L, M, --, --, P, Q, S, T, Y1.

TESTY:
Jesli chodzi o testy... (jak niektorzy zauwazyli nie ma ich tam gdzie byly wczesniej) to nie ma jednego duzego katalogu z testami, lecz kazde zadanie ma osobny z testami. Dla danego zadania katalog z inputami to:
/users/sgistudent/2005/kwiatekm/testerka2/tasks/<ZADANIE>/in
a katalog z outputami to:
/users/sgistudent/2005/kwiatekm/testerka2/tasks/<ZADANIE>/out
gdzie <ZADANIE> to nazwa zadania....
Do tych katalogow kazdy oczywiscie ma dostep - niekoniecznie do odczytu - ale skopiowac test zawsze mozna. Kazy input ma na koncu rozszerzenie `.in', a output `.out'. Jak sie kopiuje pliki to chyba kazdy wie...

Niektore testy (w szczegolnosci te bardzo duze) sa zapisane w postaci programow generujacych input, wiec zeby zobaczyc ich zawartosc nalezy uruchomic taki test i zapisac sobie gdzies to co nam ten program wypluje na ekran.

LIMITY:
Limity do testow sa dobrane w ten sposob, ze program ktory przechodzi na TCS to u mnie tez raczej bez problemu powinien miescic sie w limitach, bo nie sa one jakos straszie wyzylowane - tak dokladniej mowiac jest to mniej wiecej 2 razy czas mojego programu (czasem wiecej). Po przekroczeniu tego limitu program dostaje TLE, ale jak juz dostajecie TLE tzn ze wasze programy naprawde sa wolne. A jesli program miejsci sie w limicie to wtedy za dany test jest przyznawana pewna ilosc punktow ktora liniowo maleje po przekroczeniu polowy limitu czasu... a wiec jak latwo sobie policzyc jesli ktos dostanie same OK i bedzie mial maxymalna ilosc punktow to oznacza to tyle, ze jego program jest conajmniej tak szybki jak moj, wiec mozna wtedy smialo wysylac na sprawdzarke TCS. Ogolnie limity mam bardzo duze, ale to tylko po to aby pozwalac aby testowany program dzialal troche dluzej - ogolnie mozna przyjac ze program przekracza pewien limit czasu, gdy nie dostaje 10 pkt za dany test i wtedy juz jest szansa ze dostanie taki program TLE na sprawdzarce TCS

No to poki co tyle.... jak mi cos jeszcze przyjdzie do glowy to tutaj napisze. A wszystkim zycze powodzenia w pisaniu zadanek... :D

PS. Ten topic zalozylem po to ze jakktos ma jakies uwagi co do testerki niech pisze to wlasnie tutaj. W szczegolnosci mile widziane beda informacje o wykrytych bledach itp - z gory dzieki.

oinopion · Wysłany: Pią 14:53, 31 Mar 2006 Temat postu:

Ja się tylko chciałem pochwalić, że jestem jednym z tych, którzy oddają własną quotę, żeby testy miały gdzie spać! :)

mateo

A jest taka sprawa: moze ktos poswiecic z 4-5MB swojej quoty na testy. Bo szczerze mowiac sam juz nie mam miejsca na virgo i ani nie mam jak dodawac nowych testow, ani sam nie mam jak testowac czy to co dodalem jest ok.... oczywiscie przydaloby sie jakby jak najwiecej osob moglo poswiecic te kilka Mega bo wtedy mozna by wiecej testow porobic (nie tylko losowych) i by to napewno ulatwilo debugowanie programow, bo wiadomo ze same testy losowe nie znajda wszystkich bugow w programie.
No ale z powodu malej quoty nieststety nie ma mozliwosci zebym ja to wszystko trzymal wiec jak cos dajcie mi znac..... Z gory dzieki.

oinopion

A może dało by się z adminem pogadać? Albo przynajmniej przez TCS coś załatwić? Przecież to nie są pornosy, tylko bardzo przydatne informacje, które przydają się większości osób. Co o tym myslicie?

exeman

mateo: zwroc sie do Wojtka Palacza, na 99% powiekszy quote, jesli przedstawisz sensowne argumenty.

mateo

Saimi

camensky

radze napisac mejla do pana kedzierskiego. ja od poczatku roku mialem zle zalozone konto na elfie (nie moglem sie zalogowac), oczywiscie sprawe nalezalo zglosic do pana kedzierskiego, a spotkac go w jego kanciapie (ostatni pokoj po prawej) graniczy z cudem! chyba we wtorki ma dyzury od 10, ale to mocno teoretycznie. gdy wysylalem mejla dostawalem po paru tygodniach odpowiedz, ze pewnie hasla zapomnialem, nowe haslo i od nowa.. dopiero jak na serio potrzebowalem do zapisow to udalo mi sie to konto wywalczyc, ale razem z pomocna pania z sekretariatu to byla sprawa nie do zalatwienia. pisze mateo mejla, pod koniec semestru dostaniesz odpowiedz :D

mateo

Jakby ktos byl zainteresowany to dodalem do testerki zadanie Y1 - narazie jest generator o zlozonosci n^2, bo sam poki co testuje swoje rozwiazanie nlgn, ktore i tak jest za wolne.
Nie za bardzo widze jak narazie zeby napisac to zadanko w O(n) a cos czuje ze wlasnie taka zlozonosc ma wzorcowka :/

mateo

Do zadanka Y1 jest juz dostepna moja liniowa wzorcowka w FIND_TESCIE.

A dodatkowo dodalem jeszcze zadanko `L' - tez tylko w FIND_TESCIE... (mozliwych rozwiazan w tym zadnku jest wiele.... - wiec mozecie dostawac WA na mojej testerce bo ona akceptuje tylko to rozwiazanie ktore zwraca moj program :) - postaram sie napisac programik ktory bedzie akceptowal wszystkei odpowiedzi... ale to za jakis czas dopiero)

mateo

Mozna juz testowac zadnko `K'.
A do zadanka `L' napisalem program do sprawdzania poprawnosci outputow wiec wszystkie prawidlowe wyniki powinny przechodzic...

mateo

Jesli ktos sie jeszcze meczy z D przed koncem terminu to wlasnie dodalem testy do tego zadanka oraz generator drzew. Byly male problemy z testami ale juz wszystk jest ok. Co do generatora to pisalem juz o tym przy topicu dotyczacego zadania D, ale napisze jeszcze tutaj. Pdejrzewam ze jesli macie problemy z tym zadaniem to dotycza one glownei przypadku gdy trzeba wypisac INORDER z PREODERA i POSTORDERA. Jest to mozliwe oczywiscie tylko wtedy, gdy drzewo wejsciowe nie zawiera wezlow wewnetrznych o stopniu 1. A tym samym bardzo latwo pokazac ze kazde takie drzewo musi miec nieparzysta ilosc wierzcholkow (lub w przypadku szczegolnym moze tez miec 0 lub 1 wezel). Dlatego tez jesli chcecie sobie testowac wasz program na jakichs wiekszych drzewach i sprawdzic czy wasz INORDER jest ok to musicie koniecznie wpisywac nieparzysta ilosc wierzcholkow jako parametr przy generowaniu testow w TEST_FINDERze (czyli przykladowo zamiast standardowo wpisywanego 100, 1000 czy 10000 nalezy wpisac powiedzmy 101 1001 10001 itp...)

Fidel

hmm czy jest mozliwosc pobrania testow??

wszedlem do podanego katalogu, dla przykladu:

Madras

Wpisz jak już będziesz w ww. katalogu

Fidel

Spectro

Przy testowaniu zadania D na TEST_FIDERZE pojawia się niekiedy seria linijek zawierająych jedno słowo:

mateo

mateo

A jednak sie pomylilem.... :) binarka hansa nic takiego nie wypisuje:)
W sumie pierwsza na mysl przyszla mi ta opcja, ze wzorcowa binarka wypisuje ten "komunikat bledu" na ekran, bo no zalozylem ze twoj program Spectro nie wypisuje tego skoro sie o to pytales :D... no ale teraz juz wiem, ze to wlasnei twoj program musi wypisywac i na dodatek wypisuje to nie na stdout, ale na stderr. No a ja w testerce mialem przekierowany jedynie stdout do pliku, wioec wszystkei bledy wypisywane na stderr wyswietlaly sie na ekranie, ale juz to naprawilem.

Spectro

hansu

A moze to jakas obca cywilizacja chce nam w ten sposob przekazac jakis komunikat? Pewnie obserwuja ASD od poczatku i chca nam wlasnie w ten sposob przekazac swoje zdanie na ten temat :P

mateo

Skrobocik

mateo

Jakby komus nie dzialala testerka do rakow to wlasnie zmienilem kod zadania z 'rak' na 'N'. A pozatym to wmontowalem jeszcze testy z OI do Sokobana.

exeman

Mateo, czy w testerce ograniczenie na pamiec jest osobno na stos + dane, osobno na sterte, czy tez na calosc za jednym zamachem?

mateo

Wczoraj siedzialem chwile na virgo i napisalem generatory testow do zadanek P, Q, S, T. Tylko nie chcialo mi sie sprawdzac czy oby napewno to dobrze dziala... no ale moje programy w c++ i pascalu, ktore kiedys tam pisalem daja te same wyniki wiec powinno byc OK. Jakby cos bylo nie tak to piszcie. Mam nadzieje ze sie to komus przyda...