sequentielle verarbeitung (pumpen vom Daten) wird immer langsamer
Verfasst: Mi 30. Nov 2022, 12:58
Hallo zusammen,
ich bin gerade dabei meine größte Tabelle von ISO nach UTF8 zu konvertieren,
also von einer ISO-DB in eine UTF8-DB zu pumpen. Umgebung: PHP unter Apache.
Die Tabelle hat 1.087.786 Datensätze, die sequentiell in die neue DB übertragen
werden, wobei ALLE Indizes in Ziel-DB vorher IN-aktiv gesetzt wurden.
Die ersten 50.000 Datensätze wurden noch mit einer Geschwindigkeit von 1.000
in ca. 2 Minuten gepumpt.
Nun bin ich bei bei ca. 250.000 Datensätzen und für 1.000 Datensätze brauch es
inzwischen gut 8 Minuten, also eine Verlangsamung um Faktor 4 mit weiter steigender
Tendenz.
Das bei zunehmender Größe der Ziel-Tabelle das Ganze ein wenig langsamer wird,
wäre ja noch zu akzeptieren, aber dass es so eklatant langsamer wird, verstehe ich
nicht so recht.
Es werden doch nur weitere Datensätze hinten dran geklatscht, ohne das Indizes
oder sonst irgendetwas nach-gepflegt werden müsste.
Wofür verbraucht Firebird diese viele Mehr-Zeit ?
Hat jemand eine Erklärung ?
Kann ich etwas machen, um da mehr Tempo rein zu bringen ?
ich bin gerade dabei meine größte Tabelle von ISO nach UTF8 zu konvertieren,
also von einer ISO-DB in eine UTF8-DB zu pumpen. Umgebung: PHP unter Apache.
Die Tabelle hat 1.087.786 Datensätze, die sequentiell in die neue DB übertragen
werden, wobei ALLE Indizes in Ziel-DB vorher IN-aktiv gesetzt wurden.
Die ersten 50.000 Datensätze wurden noch mit einer Geschwindigkeit von 1.000
in ca. 2 Minuten gepumpt.
Nun bin ich bei bei ca. 250.000 Datensätzen und für 1.000 Datensätze brauch es
inzwischen gut 8 Minuten, also eine Verlangsamung um Faktor 4 mit weiter steigender
Tendenz.
Das bei zunehmender Größe der Ziel-Tabelle das Ganze ein wenig langsamer wird,
wäre ja noch zu akzeptieren, aber dass es so eklatant langsamer wird, verstehe ich
nicht so recht.
Es werden doch nur weitere Datensätze hinten dran geklatscht, ohne das Indizes
oder sonst irgendetwas nach-gepflegt werden müsste.
Wofür verbraucht Firebird diese viele Mehr-Zeit ?
Hat jemand eine Erklärung ?
Kann ich etwas machen, um da mehr Tempo rein zu bringen ?