Visualisierung der automatisierten Testergebnisse des Firebird-Projekts

Produkt- und Serviceankündigungen zu Firebird.

Moderator: martin.koeditz

Antworten
Benutzeravatar
martin.koeditz
Beiträge: 469
Registriert: Sa 31. Mär 2018, 14:35

Alexey Kovyazin von IBSurgeon gab auf der Firebird-Admin-Mailingliste bekannt, dass nun eine Visualisierung für die automatisierten Tests von Firebird zur Verfügung steht. Anbei der übersetzte Auszug. Wer Lust hat, sich dem Projekt anzuschließen, kann alle Teilnehmer auch in englisch kontaktieren.
Hallo zusammen,

Zu eurer Information - http://firebirdtest.com
Diese Website ist ein Frontend für FBT + OLTP + automatisierte Skripte, die von Pavel Zotov und einigen IBSurgeon-Mitarbeitern unterstützt werden.

Es werden FBT-Tests auf Windows-Servern (8 GB, 4 Kerne) für SuperServer und Classic, für 3.0 und 4.0 sowie OLTP-EMUL für SuperServer 3.0 / 4.0 ausgeführt.

Tests werden automatisch ausgelöst, wenn ein neuer Build unter http://web.firebirdsql.org/download/sna ... s/win/3.0/ angezeigt wird.
Oder http://web.firebirdsql.org/download/sna ... s/win/4.0/

Als Ergebnis des Testlaufs wird der Bericht generiert.
Beschreibung
P - bestanden (ok)
Fehlgeschlagener Test aufgrund fehlgeschlagener Bestätigung wird als F (fehlgeschlagen) markiert, pink fehlgeschlagen aufgrund der als E (Fehler) gekennzeichneten Laufzeit gelb.
Fehlgeschlagen aufgrund eines Firebird-Absturzes - F rot / violett

Für jeden Fehler gibt es einen Hinweis (Mouseover) mit Details zum Fehler.

Nach dem Klicken auf die Zelle wird die neue Seite mit weiteren Details und der Historie der Läufe geöffnet.

Details:
0. Gesamtergebnisse für jede Art von Ergebnis und Servermodus
1. ERRORS MAP: Verteilung der Firebird-Fehler, die während der Läufe aufgetreten sind
2. FRESH FAILS: Tests, die nur bei der letzten Ausführung fehlgeschlagen sind
3. FRESH ERRORS: Tests, bei denen Laufzeitfehler nur für die LETZTE Laufzeit ausgelöst wurden
4. STILL FAILS: Tests, die für mindestens zwei letzte Läufe fehlschlagen
5. Has fails: Tests mit mindestens einem Fehler für vorherige Läufe
6. Has runtime errors: Tests mit mindestens einem Laufzeitfehler für vorherige Läufe
7. FRESH PASSED: erfolgreiche Tests mit vorherigem Ergebnis = FAIL / ERROR / SKIPPED oder nicht vorhanden
8. All tests: outcomes- alle Ergebnisse für die letzten 30 Läufe
9. All tests: A. Skipped: Tests, die absichtlich von der Ausführung ausgeschlossen wurden

Firebird OLTP Emul Ergebnisse
OLTP Emul simuliert eine OLTP-Anwendung mit hoher Last und verwendet viele hochentwickelte SQLs in einer Multithread-Umgebung.

Unsere Pläne für die Zukunft:
1) Veröffentlichen der Quellen für automatisierte Skripte auf GitHub (dafür müssen wir sie noch etwas bereinigen).
2) Durchführung von Linux-Tests und dem Frontend Berichtsergebnisse hinzufügen
3) Verbesserung der Webdarstellung - https-Zertifikat, Design usw.
4) Migration zum neuen FBT-Testframework, wenn dessen Übernahme abgeschlossen ist

Wir laden alle Interessierten ein, sich den Bemühungen anzuschließen.
Pavel Zotov ist Koordinator des Projekts - pz@ibase.ru.

Grüße,
Alexey Kovyazin
IBSurgeon
Quelle: https://groups.google.com/g/firebird-ad ... 4iuoVFAgAJ
Martin Köditz
it & synergy GmbH
Antworten