[vz-dev] Alternative Implementierung für vzcompress

[Florian Knodt]

Nabend,

im November gab es eine Diskussion bez?glich vzcompress und korrupten
Daten. Ursache war, dass das jetzige Tool nur f?r S0-Sensoren
(MeterInterpreter) geeignet ist und die Art der "Komprimierung"
beispielsweise Daten absoluter Sensoren (SensorInterpreter) unbrauchbar
macht. Damals ist das Thema irgendwie vom Radar verschwunden. Bei
digitalen Osterputz ist das Thema bei mir wieder hoch gekommen, denn die
VZ-Datenbank hatte zwischenzeitlich stolze 10GB belagert.

Da sich mein Perl in Grenzen h?lt habe ich das Ganze nach QnD neu in PHP
implementiert. Das Script liest die verf?gbaren Kan?le und deren
Konfiguration aus der Datenbank bzw. den Definitionsdateien. Die
Zugangsdaten f?r die DB kommen direkt aus der VZ-Config, sollte also im
misc/tools-Verzeichnis ohne Konfiguration laufen.

Im Script k?nnen global oder pro Kanal Kompressionsschema hinterlegt
werden, standardm??ig ist derzeit folgendes als globale Definition drin:

Newer than 7 Days Keep Original
Older than 7 Days Datapoint per 1 Minute
Older than 30 Days Datapoint per 5 Minutes
Older than 6 Month Datapoint per 15 Minutes
Older than 1 Year Datapoint per 30 Minutes

Unterst?tzt werden sollten alle Sensoren auf Basis der derzeitigen
Interpreter-Modelle (SensorInterpreter, MeterInterpreter,
CounterInterpreter). Hierbei gilt:
SensorInterpreter = Mittelwert
MeterInterpreter = Summe
CounterInterpreter = Maximalwert

Als Zeitstempel wird immer das Ende der zusammengefassten Zeitperiode
verwendet. Die Live-Statusmeldungen k?nnen z.B. f?r langsame
SSH-Sitzungen abgeschaltet werden.

Getestet (im Sinne von es sind noch Daten da die stimmen k?nnten) ist
das Ganze gegen MySQL und SensorInterpreter, andere Sensoren sollten
funktionieren, bei anderen Datenbanken k?nnte es Probleme geben, da die
SQL-Queries recht unsauber drin sind.

Wer etwas in die Richtung sucht, mutig ist und ein aktuelles Backup hat
darf sich nat?rlich mal versuchen:
<https://github.com/adlerweb/volkszaehler.org/blob/vzcompress2/misc/tools/vzcompress2.php>.
--
Mit freundlichen Gr??en
Florian Knodt

-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 901 bytes
Desc: OpenPGP digital signature
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130401/9c92e1cf/attachment.pgp>

[Daniel Lauckner]

Abend,

Post by Florian Knodt
Getestet (im Sinne von es sind noch Daten da die stimmen k?nnten) ist
das Ganze gegen MySQL und SensorInterpreter, andere Sensoren sollten
funktionieren,

Bei mir leider nicht, ich hab 3 Kan?le vom Typ electric meter und 2
power sensor.

Gek?rzte Ausgabe:

Processing Sensor ID 9...
PHP Warning: Invalid argument supplied for foreach() in /home/pi/bin/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type electric meter in /home/pi/bin/vzcompress2.php on line 161
Processing Sensor ID 10...
PHP Warning: Invalid argument supplied for foreach() in /home/pi/bin/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type powersensor in /home/pi/bin/vzcompress2.php on line 161
Done. Purged Datapoints from 5 Channels in 0 Seconds



mfg Daniel Lauckner

[bernd]

Hallo!

On Wed, 3 Apr 2013 23:51:44 +0200, Daniel Lauckner <mailing at jahp.de>

Post by Daniel Lauckner
Abend,

Post by Florian Knodt
Getestet (im Sinne von es sind noch Daten da die stimmen k?nnten) ist
das Ganze gegen MySQL und SensorInterpreter, andere Sensoren sollten
funktionieren,

Bei mir leider nicht, ich hab 3 Kan?le vom Typ electric meter und 2
power sensor.

Bei mir leider auch nicht:

Ungek?rzte Ausgabe:

pi at raspberrypi /var/www/volkszaehler.org/misc/tools $ php
vzcompress2.php
Processing Sensor ID 6...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type powersensor in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 8...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type gas in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 9...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type water in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 10...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type powersensor in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 13...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 18...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 19...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 20...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 21...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 22...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 23...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Processing Sensor ID 24...
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type temperature in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161
Done. Purged Datapoints from 12 Channels in 0 Seconds

Hier noch die entities:
id uuid type class
6 635481a0-6fcd-11e2-8587-... powersensor channel
8 8102dbc0-6fcd-11e2-a8b7-... gas channel
9 89a19f80-6fcd-11e2-be46-... water channel
10 ebb9c9b0-7058-11e2-b5ed-... powersensor channel
13 fc73fdb0-831f-11e2-ab63-... temperature channel
15 a10a70a0-8390-11e2-9181-... group aggregator
16 5ac74c10-8391-11e2-967f-... group aggregator
17 a2484840-83fa-11e2-94eb-... group aggregator
18 27fd1e00-89c9-11e2-bc92-... temperature channel
19 3a513760-89c9-11e2-8948-... temperature channel
20 3c391a00-8a11-11e2-92ec-... temperature channel
21 1e6e25a0-8a11-11e2-96be-... temperature channel
22 2414a2e0-8a11-11e2-8319-... temperature channel
23 2dd2cb00-8a11-11e2-b8a9-... temperature channel
24 16a5a410-8a11-11e2-bfb5-... temperature channel

Hier noch die Properties:

id entity_id pkey value
30 6 [->] resolution 2000000
31 6 [->] title Arbeit
32 6 [->] public 1
33 6 [->] color fuchsia
34 6 [->] active 1
35 6 [->] style lines
42 8 [->] resolution 100000
43 8 [->] title Gas
44 8 [->] public 1
45 8 [->] color navy
46 8 [->] active 1
47 8 [->] style steps
48 9 [->] resolution 1000
49 9 [->] title Wasser
50 9 [->] public 1
51 9 [->] color aqua
52 9 [->] active 1
53 9 [->] style steps
54 10 [->] resolution 2000000
55 10 [->] title Zaehlerstand
56 10 [->] public 1
57 10 [->] color olive
58 10 [->] active 1
59 10 [->] style lines
68 13 [->] title T1
69 13 [->] public 1
70 13 [->] color red
71 13 [->] style lines
72 13 [->] active 1
73 15 [->] title Heizung
74 15 [->] public 1
75 15 [->] color maroon
76 15 [->] active 1
77 15 [->] style lines
78 16 [->] title Z??hler
79 16 [->] public 1
80 16 [->] color aqua
81 16 [->] active 1
82 16 [->] style lines
83 17 [->] title Burgstr. 45F
84 17 [->] public 1
85 17 [->] color lime
86 17 [->] active 1
87 17 [->] style lines
88 8 [->] cost 0.668
89 18 [->] title Nachlauf
90 18 [->] public 1
91 18 [->] color green
92 18 [->] active 1
93 18 [->] style lines
94 19 [->] title Vorlauf
95 19 [->] public 1
96 19 [->] color maroon
97 19 [->] active 1
98 19 [->] style lines
99 20 [->] title Kreis WZ1
100 20 [->] public 1
101 20 [->] color lime
102 20 [->] active 1
103 20 [->] style lines
104 21 [->] title Kreis WZ2
105 21 [->] public 1
106 21 [->] color lime
107 21 [->] active 1
108 21 [->] style lines
109 22 [->] title Kreis WZ3
110 22 [->] public 1
111 22 [->] color lime
112 22 [->] active 1
113 22 [->] style lines
114 23 [->] title Kreis K??che
115 23 [->] public 1
116 23 [->] color aqua
117 23 [->] active 1
118 23 [->] style lines
119 24 [->] title Kreis Flur
120 24 [->] public 1
121 24 [->] color maroon
122 24 [->] active 1
123 24 [->] style lines

[f.knodt]

Mahlzeit,

Am 2013-04-04 06:56, schrieb bernd:
[...]

Post by Daniel Lauckner
PHP Warning: Invalid argument supplied for foreach() in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 154
PHP Warning: Could not detect inperpreter for type powersensor in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 161

[...]

Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
JSON-Datei: <https://github.com/volkszaehler/volkszaehler.org/pull/43>.

[Daniel Lauckner]

Post by f.knodt
Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
<https://github.com/volkszaehler/volkszaehler.org/pull/43>.

Hab die Zeile ge?ndert und jetzt ein Problem mit den Zugriffsrechten:

Processing Sensor ID 7...
Compressing datapoints between 06.03.2013 12:39:28 and 28.03.2013 22:00:35 using a 60 second timeframe
Processing: 06.03.2013 12:39:28 - 06.03.2013 12:40:28 (0%)... array(3) {
[0]=>
string(5) "42000"
[1]=>
int(1142)
[2]=>
string(63) "DELETE command denied to user 'vz'@'localhost' for table 'data'"
}
PHP Fatal error: SQL FAILURE in /home/pi/bin/vzcompress2.php on line 232


Leider ist mir das Script zu hoch, ich versteh kein St?ck was da vor
sich geht (oder gehen soll).


mfg Daniel

[Bernd Gewehr]

Hallo,

-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Daniel Lauckner
Gesendet: Donnerstag, 4. April 2013 23:09
An: volkszaehler.org
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress

Post by f.knodt
Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
<https://github.com/volkszaehler/volkszaehler.org/pull/43>.

Hab die Zeile ge?ndert und jetzt ein Problem mit den Zugriffsrechten:
string(63) "DELETE command denied to user 'vz'@'localhost' for table
'data'"
}
PHP Fatal error: SQL FAILURE in /home/pi/bin/vzcompress2.php on line 232

Ich nutze Sudo php vzcompress2.php - da l?ufts als root...

Mein Problem sind angebliche Duplikate:

Processing Sensor ID 6...
Compressing datapoints between 05.03.2013 22:06:10 and 24.03.2013 16:11:28
using a 60 second timeframe
Processing: 08.03.2013 04:35:10 - 08.03.2013 04:36:10 (12%)...
array(3) {
[0]=>
string(5) "23000"
[1]=>
int(1062)
[2]=>
string(51) "Duplicate entry '6-1362713770632' for key 'ts_uniq'"
}
PHP Fatal error: SQL FAILURE in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 226

Kann man solche Fehler nicht einfach ?berspringen und dennoch weitermachen?

Danke und Gru?,
Bernd

[Bernd Gewehr]

Nachtrag: Die angeblichen Duplikate sind nicht von derselben Channel_ID:

id channel_id timestamp value
2522215 10 1362713770632 20352394
2522216 6 1362713770632 288.3 Alle

-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Bernd Gewehr
Gesendet: Donnerstag, 4. April 2013 23:13
An: 'volkszaehler-users'; 'volkszaehler.org'
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress

Hallo,

-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Daniel Lauckner
Gesendet: Donnerstag, 4. April 2013 23:09
An: volkszaehler.org
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress

Post by f.knodt
Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
<https://github.com/volkszaehler/volkszaehler.org/pull/43>.

Hab die Zeile ge?ndert und jetzt ein Problem mit den Zugriffsrechten:
string(63) "DELETE command denied to user 'vz'@'localhost' for table
'data'"
}
PHP Fatal error: SQL FAILURE in /home/pi/bin/vzcompress2.php on line 232

Ich nutze Sudo php vzcompress2.php - da l?ufts als root...

Mein Problem sind angebliche Duplikate:

Processing Sensor ID 6...
Compressing datapoints between 05.03.2013 22:06:10 and 24.03.2013 16:11:28
using a 60 second timeframe
Processing: 08.03.2013 04:35:10 - 08.03.2013 04:36:10 (12%)...
array(3) {
[0]=>
string(5) "23000"
[1]=>
int(1062)
[2]=>
string(51) "Duplicate entry '6-1362713770632' for key 'ts_uniq'"
}
PHP Fatal error: SQL FAILURE in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 226

Kann man solche Fehler nicht einfach ?berspringen und dennoch weitermachen?

Danke und Gru?,
Bernd

[Thorben Thuermer]

On Thu, 4 Apr 2013 23:15:43 +0200

Post by Bernd Gewehr
id channel_id timestamp value
2522215 10 1362713770632 20352394
2522216 6 1362713770632 288.3 Alle

nein.
in der data tabelle wirst du keine duplikate finden,
weil der unique key verhindert, das die eingetragen werden.
(doppelte eintraege fuer paare von (channel_id,timestamp).
die eintraege dort haben unterschieliche ts.

- T.

Post by Bernd Gewehr
-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Bernd Gewehr
Gesendet: Donnerstag, 4. April 2013 23:13
An: 'volkszaehler-users'; 'volkszaehler.org'
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress
Hallo,
-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Daniel Lauckner
Gesendet: Donnerstag, 4. April 2013 23:09
An: volkszaehler.org
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress

Post by f.knodt
Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
<https://github.com/volkszaehler/volkszaehler.org/pull/43>.

}
PHP Fatal error: SQL FAILURE in /home/pi/bin/vzcompress2.php on line 232
Ich nutze Sudo php vzcompress2.php - da l?ufts als root...
Processing Sensor ID 6...
Compressing datapoints between 05.03.2013 22:06:10 and 24.03.2013 16:11:28
using a 60 second timeframe
Processing: 08.03.2013 04:35:10 - 08.03.2013 04:36:10 (12%)...
array(3) {
[0]=>
string(5) "23000"
[1]=>
int(1062)
[2]=>
string(51) "Duplicate entry '6-1362713770632' for key 'ts_uniq'"
}
PHP Fatal error: SQL FAILURE in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 226
Kann man solche Fehler nicht einfach ?berspringen und dennoch weitermachen?
Danke und Gru?,
Bernd

[Thorben Thuermer]

On Thu, 4 Apr 2013 23:21:57 +0200

Post by Thorben Thuermer
On Thu, 4 Apr 2013 23:15:43 +0200

Post by Bernd Gewehr
id channel_id timestamp value
2522215 10 1362713770632 20352394
2522216 6 1362713770632 288.3 Alle

nein.
in der data tabelle wirst du keine duplikate finden,
weil der unique key verhindert, das die eingetragen werden.
(doppelte eintraege fuer paare von (channel_id,timestamp).
die eintraege dort haben unterschieliche ts.

unterschieliche channel_ids natuerlich.

- T.

Post by Thorben Thuermer

Post by Bernd Gewehr
-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Bernd Gewehr
Gesendet: Donnerstag, 4. April 2013 23:13
An: 'volkszaehler-users'; 'volkszaehler.org'
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress
Hallo,
-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Daniel Lauckner
Gesendet: Donnerstag, 4. April 2013 23:09
An: volkszaehler.org
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress

Post by f.knodt
Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
<https://github.com/volkszaehler/volkszaehler.org/pull/43>.

}
PHP Fatal error: SQL FAILURE in /home/pi/bin/vzcompress2.php on line 232
Ich nutze Sudo php vzcompress2.php - da l?ufts als root...
Processing Sensor ID 6...
Compressing datapoints between 05.03.2013 22:06:10 and 24.03.2013 16:11:28
using a 60 second timeframe
Processing: 08.03.2013 04:35:10 - 08.03.2013 04:36:10 (12%)...
array(3) {
[0]=>
string(5) "23000"
[1]=>
int(1062)
[2]=>
string(51) "Duplicate entry '6-1362713770632' for key 'ts_uniq'"
}
PHP Fatal error: SQL FAILURE in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 226
Kann man solche Fehler nicht einfach ?berspringen und dennoch weitermachen?
Danke und Gru?,
Bernd

[Bernd Gewehr]

Hallo!

Das Problem mit den vermeintlichen Duplikaten ist durch den Scriptablauf zu erkl?ren:

In dem Moment, in dem der neue bleibende Wert in die DB geschrieben werden soll, wird zuvor nicht sichergestellt, dass diese Kombination von ts und ch_id nicht schon existiert.

Daher wird dann beim Schreibversuch in die DB der Duplikatfehler ausgegeben.

Dies kann also immer mal auftreten, bei mir in 4 Wochen ungef?hr 6 mal.

Wenn das Script nicht angepasst wird, ist es f?r einen unbeobachteteren Ablauf per cronjob eher nicht geeignet, da es immer wieder abbrechen wird.

Ich kann das leider nicht...

Gru?

Bernd

[f.knodt]

Nabend,

Post by Bernd Gewehr
In dem Moment, in dem der neue bleibende Wert in die DB geschrieben
werden soll, wird zuvor nicht sichergestellt, dass diese Kombination
von ts und ch_id nicht schon existiert.

Jepp - den Index hatte ich wohl ?bersehen und bei meinem Datenbestand
war offenbar nichts zum ausl?sen drin. Hab jetzt das DELETE vor das
UPDATE gesetzt, da es in einer Transaktion steht sollte von der
Sicherheit trotzdem nichts abhanden kommen.

Florian

[Bernd Gewehr]

Post by Florian Knodt
Nabend,
Jepp - den Index hatte ich wohl ?bersehen und bei meinem Datenbestand war

offenbar nichts zum ausl?sen drin. Hab jetzt

Post by Florian Knodt
das DELETE vor das UPDATE gesetzt, da es in einer Transaktion steht sollte

von der Sicherheit trotzdem nichts abhanden

Post by Florian Knodt
kommen.
Florian

Ja, danke, das geht jetzt!

Ich ?berlege, ob mir eine Optimierung einf?llt, um die redundante
Bearbeitung der alten Daten immer und immer wieder zu umgehen:

Einen neuen Datensatz mit Timestamp = heute - 10 Jahre und Wert = ID des
letzt bearbeiteten Datensatzes oder so?

Oder eine neue Tabelle oder ein logfile?

Ein logfile ist in php m?glicherweise am einfachsten, oder?
/var/log/vzcompress.log k?nnten alle Ergebnisse und die letzte ID oder das
letzte timestamp/Channel_id-P?rchen enthalten. Wenn man sie l?scht, dann
geht's von vorne los...

Ansonsten wird ab da weitergemacht, wo zuletzt aufgeh?rt wurde.

Das spart Zeit und CPU-Last, denn mein vzlogger steigt regelm??ig aus, wenn
der vzcompress Cronjob losrennt.

Wann wird das file im VZ-git sichtbar?

Vielen Dank f?r die gute Arbeit!

Gru?, Bernd

[Daniel Lauckner]

Abend,

Post by Bernd Gewehr

Post by Florian Knodt
Florian

Auch von mir ein herzliches Dankesch?n f?r das Script.

Post by Bernd Gewehr
Ich ?berlege, ob mir eine Optimierung einf?llt, um die redundante

Mir ist aufgefallen das das Script beim Zeitraum immer die selben
Sekunden (26 bei 1 Minute, 47 bei 5) anzeigt.
Wenn der verbleibende Datensatz auf dieser Sekunde liegt m?sste man
damit doch auch Arbeiten k?nnen?

Post by Bernd Gewehr
Ein logfile ist in php m?glicherweise am einfachsten, oder?
/var/log/vzcompress.log k?nnten alle Ergebnisse und die letzte ID oder das
letzte timestamp/Channel_id-P?rchen enthalten. Wenn man sie l?scht, dann
geht's von vorne los...

Oder so. Einfach in der Handhabung und ressourcenschonend.

Post by Bernd Gewehr
Das spart Zeit und CPU-Last, denn mein vzlogger steigt regelm??ig aus, wenn
der vzcompress Cronjob losrennt.

Ich hatte vzlogger immer vorher beendet weil ich eh damit
gerechnet habe das er abschmiert.


mfg Daniel

[f.knodt]

Nabend,

Post by Daniel Lauckner
Mir ist aufgefallen das das Script beim Zeitraum immer die selben
Sekunden (26 bei 1 Minute, 47 bei 5) anzeigt.

Wenn das Script etwas zusammenfasst basiert Datum/Zeit auf der
Startzeit, ist also nicht zwingend konstant. Es ist allerdings auch
schon eine Optimierung in der Art drin: Das Script ?berspringt das
Zusammenfassen (=UPDATE) wenn im Zeitraum nur ein Datensatz vorhanden
ist. ?brig bleiben dann bei schon bearbeiteten Bereichen nur die
lesenden Datenbankabfragen (SELECT), also im Prinzip das selbe wie eine
Abfrage auf Basis der Uhrzeit. Ein Logfile mit den letzten Timestamps
w?re schneller als die ganzen SELECT-Abfragen, allerdings verliert man
so auch etwas Flexibilit?t - ?ber die API ist es m?glich Daten mit
?lteren Timestamps einzuf?gen (nutze ich z.B. f?r einige Sensoren,
welche nur alle x Stunden synchronisiert werden oder offline laufen und
manuell importiert werden), die w?rden dann nicht verarbeitet.

Post by Daniel Lauckner

Post by Bernd Gewehr
Das spart Zeit und CPU-Last, denn mein vzlogger steigt regelm??ig aus, wenn
der vzcompress Cronjob losrennt.

Ich hatte vzlogger immer vorher beendet weil ich eh damit
gerechnet habe das er abschmiert.

Nunja, eigentlich sollte er das nicht tun - die meiste Arbeit sind
vermutlich die SELECT-Abfragen zum zusammenfassen, dabei d?rfte MySQL
aber keinen LOCK o.?. versuchen. Was ich mir nur vorstellen kann w?re,
dass der DB-Server je nach Hardware ins Stocken kommt und vzlogger in
einen Timeout l?uft. Generell sehe ich jedenfalls kein Problem - auf
meinem E450 gehen w?hrend das Script l?uft keine neuen Daten verloren,
allerdings nutze ich nur direkte HTTP-Requests, und nicht den vzlogger.
Eventuell k?nnte ein usleep/sleep nach dem UPDATE oder gar SELECT helfen
die Last zu reduzieren - wenn das Script per cron o.?. l?uft l?sst sich
der Geschwindigkeitsverlust sicher verschmerzen.

Post by Daniel Lauckner
Wann wird das file im VZ-git sichtbar?

Ist noch nicht eingeschickt, ich wollte es erst etwas "abh?ngen"
lassen, sodass die gr?bsten Fehler vorher raus sind

Florian

[Thorben Thuermer]

On Thu, 4 Apr 2013 23:13:21 +0200

Post by Bernd Gewehr
Hallo,

schoen dass du versuchst, zitatantworten zu benutzen,
aber das klappt nur wenn das zitat auch durchgehend als
solches gekennzeichnet ist,
da man sonst deine antwort nicht vom zitat unterscheiden kann.

Post by Bernd Gewehr
-----Urspr?ngliche Nachricht-----
Von: volkszaehler-dev-bounces at lists.volkszaehler.org
[mailto:volkszaehler-dev-bounces at lists.volkszaehler.org] Im Auftrag von
Daniel Lauckner
Gesendet: Donnerstag, 4. April 2013 23:09
An: volkszaehler.org
Betreff: Re: [vz-dev]Alternative Implementierung f?r vzcompress

Post by f.knodt
Da hab ich wohl nen Hinweis vergessen - dieser Commit f?r die
EntityDefinition m?sste noch rein, sonst verschluckt sich PHP an der
<https://github.com/volkszaehler/volkszaehler.org/pull/43>.

}
PHP Fatal error: SQL FAILURE in /home/pi/bin/vzcompress2.php on line 232

der vz-user hat keine delete-rechte, weil die middleware normalerweise
nie daten loescht - sollte man wohl mal weniger restriktiv anlegen.

Post by Bernd Gewehr
Ich nutze Sudo php vzcompress2.php - da l?ufts als root...

als welcher user das script laeuft ist nicht relevant,
sondern welcher mysql-account fuer die db zugriffe verwendet wird.
hier ist wohl bei root der mysql root-user hinterlegt,
bei 'pi'aber "nur" der vz-user.

Post by Bernd Gewehr
Processing Sensor ID 6...
Compressing datapoints between 05.03.2013 22:06:10 and 24.03.2013 16:11:28
using a 60 second timeframe
Processing: 08.03.2013 04:35:10 - 08.03.2013 04:36:10 (12%)...
array(3) {
[0]=> > string(5) "23000"
[1]=> > int(1062)
[2]=> > string(51) "Duplicate entry '6-1362713770632' for key 'ts_uniq'"
}
PHP Fatal error: SQL FAILURE in
/var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 226
Kann man solche Fehler nicht einfach ?berspringen und dennoch weitermachen?

wenn das denn sinnvoll waehre?!
das script fasst ja mehrere eintraege zu einem zusammen,
und solle eigentlich die alten loeschen.
der fehler kann nur bedeuten, dass die alten noch drinstehen -
da muss irgendwas schieflaufen.
habe das script nicht im detail angeschaut, muss der autor sagen.

Post by Bernd Gewehr
Danke und Gru?,
Bernd

- T.

[Daniel Lauckner]

Post by Thorben Thuermer
der vz-user hat keine delete-rechte, weil die middleware normalerweise
nie daten loescht - sollte man wohl mal weniger restriktiv anlegen.

Hab ich jetzt gemacht und das Script l?uft im Moment.

Aber eine Frage: Du sind jetzt 4 Regeln definiert nach denen
gel?scht/zusammengefasst werden soll. Mir w?rden 2 reichen. Kann ich
die Zeilen 262 und 263 einfach l?schen?


mfg Daniel

[f.knodt]

Nabend,

Post by Daniel Lauckner
Aber eine Frage: Du sind jetzt 4 Regeln definiert nach denen
gel?scht/zusammengefasst werden soll. Mir w?rden 2 reichen. Kann ich
die Zeilen 262 und 263 einfach l?schen?

Ja, in dem Bereich kann alles entsprechend den jeweiligen Anforderungen
ge?ndert/gel?scht werden.

Florian

[Daniel Lauckner]

Abend,

Post by f.knodt

Post by Daniel Lauckner
Aber eine Frage: Du sind jetzt 4 Regeln definiert nach denen
gel?scht/zusammengefasst werden soll. Mir w?rden 2 reichen. Kann ich
die Zeilen 262 und 263 einfach l?schen?

Ja, in dem Bereich kann alles entsprechend den jeweiligen Anforderungen
ge?ndert/gel?scht werden.

Hab das Script zwischenzeitlich dr?berrumpeln lassen (mit vzlogger im
Hintergrund - kein Problem).

Bin aber von 6,5 Mio Datens?tzen nur auf 4,5 Mio gekommen. Hatte
(wenn ich nebenbei draufgeschaut hab) den Eindruck das die DB bei den
5-Minutenwerten nicht von Anfang an bearbeitet sondern irgendwo
einsteigt.

Falls ja, wo ist das definiert?


mfg Daniel

[Florian Knodt]

Hallo,

Post by Daniel Lauckner
den Eindruck das die DB bei den
5-Minutenwerten nicht von Anfang an bearbeitet sondern irgendwo
einsteigt.
Falls ja, wo ist das definiert?

das sind die "compressscheme"-Zeilen unten im Script, genauer die erste
Zahl des Arrays. Im Original hei?t es z.B.

(7*24*60*60) => (1*60),
(30*24*60*60) => (5*60),
(6*30*24*60*60) => (15*60)
(365*24*60*60) => (30*60)

In dem Fall w?rden Daten, welche neuer als 7 Tage (also neuer als die
kleinste Definition, in dem Fall 7*24*60*60 Sekunden) sind NICHT
komprimiert. Werte die ?lter sind erhalten einen Wert pro Minute (1*60
Sekunden), Daten ?lter als 30 Tage (30*24*60*60 Sekunden) ein Wert pro 5
Minuten (5*60 Sekunden) etc.

Wenn du jetzt die 5 Minuten fr?her haben willst m?sstest du den ersten
Wert der Zeile mit den 5 Minuten ?ndern, z.B. auf (14*24*60*60) um alle
Daten ?lter als 14 Tage zu bearbeiten.
--
Mit freundlichen Gr??en
Florian Knodt

-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 901 bytes
Desc: OpenPGP digital signature
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130413/a7a7f3b3/attachment.pgp>

[Daniel Lauckner]

Hallo,

Post by Florian Knodt

Post by Daniel Lauckner
den Eindruck das die DB bei den
5-Minutenwerten nicht von Anfang an bearbeitet sondern irgendwo
einsteigt.
Falls ja, wo ist das definiert?

das sind die "compressscheme"-Zeilen unten im Script, genauer die erste
Zahl des Arrays. Im Original hei?t es z.B.

(7*24*60*60) =>> (1*60),
(30*24*60*60) =>> (5*60),
(6*30*24*60*60) =>> (15*60)
(365*24*60*60) =>> (30*60)

Sieht bei mir im Moent so aus (Z. 259 - 263):
'default' => array( //Definition for all other channels
(1*24*60*60) => (1*60), //Older than 1 Days (org: 7) Datapoint per 1 Minute
(30*24*60*60) => (5*60), //Older than 30 Days Datapoint per 5 Minutes
// (6*30*24*60*60) => (15*60), //Older than 6 Month Datapoint per 15 Minutes
// (365*24*60*60) => (30*60), //Older than 1 Year Datapoint per 30 Minutes

Post by Florian Knodt
In dem Fall w?rden Daten, welche neuer als 7 Tage (also neuer als die
kleinste Definition, in dem Fall 7*24*60*60 Sekunden) sind NICHT
komprimiert. Werte die ?lter sind erhalten einen Wert pro Minute (1*60
Sekunden), Daten ?lter als 30 Tage (30*24*60*60 Sekunden) ein Wert pro 5
Minuten (5*60 Sekunden) etc.

So wie ichs jetzt konfiguriert habe m?sste das Script alle Datens?tze
?lter als 30 Tage auf 300-Sekunden zusammenfassen. Macht es aber
nicht (ich hab mal die %-Anzeige deaktiviert):

Processing Sensor ID 7...
Compressing datapoints between 17.03.2013 14:39:26 and 13.04.2013 10:40:14 using a 60 second timeframe
Removed 2834 Datapoints in 623 Seconds.
Skipping compression pass for datapoints between 14.04.2013 10:40:16 and 15.03.2013 09:40:16 using a 300 second timeframe: No Datapoints found


mfg Daniel

[Daniel Lauckner]

Post by Daniel Lauckner
'default' => array( //Definition for all other channels
(1*24*60*60) => (1*60), //Older than 1 Days
(org: 7) Datapoint per 1 Minute
(30*24*60*60) => (5*60), //Older than 30 Days Datapoint per 5 Minutes
// (6*30*24*60*60) => (15*60), //Older than 6 Month Datapoint per 15 Minutes
// (365*24*60*60) => (30*60), //Older than 1 Year Datapoint per 30 Minutes
Processing Sensor ID 7...
Compressing datapoints between 17.03.2013 14:39:26 and 13.04.2013
10:40:14 using a 60 second timeframe
Removed 2834 Datapoints in 623 Seconds.
Skipping compression pass for datapoints between 14.04.2013
10:40:16 and 15.03.2013 09:40:16 using a 300 second timeframe: No Datapoints found

Hab was getestet:

(1*24*60*60) => (1*60), //Older than 1 Days (org: 7) D$
(30*24*60*60) => (5*60), //Older than 30 Days Datapoint $
(6*30*24*60*60) => (6*60), //Older than 6 Month Datapoint p$


Processing Sensor ID 7...
Compressing datapoints between 17.03.2013 14:39:26 and 13.04.2013 11:25:49 using a 60 second timeframe
Removed 1777 Datapoints in 601 Seconds.
Compressing datapoints between 17.01.2013 16:55:47 and 14.03.2013 13:59:03 using a 300 second timeframe
Removed 558059 Datapoints in 3917 Seconds.
Skipping compression pass for datapoints between 14.04.2013 11:25:51 and 16.10.2012 11:25:51 using a 360 second timeframe: No Datapoints found


17.01. ist der erste Tag meines volksz?hlers.
Scheint so als w?rde das Script die letze Zeile falsch interpretieren.


mfg Daniel

[Florian Knodt]

Post by Daniel Lauckner
Scheint so als w?rde das Script die letze Zeile falsch interpretieren.

oh ja, stimmt, da ist was in der Schleife faul

[Daniel Lauckner]

Post by Florian Knodt

Post by Daniel Lauckner
Scheint so als w?rde das Script die letze Zeile falsch interpretieren.

oh ja, stimmt, da ist was in der Schleife faul

Und ist repariert. Danke!

Bislang hab ich mit der aktuellen Version keine Probleme gehabt.


mfg Daniel

[Jürgen Herrmann]

Hallo,
seit etwa einem Jahr versuche ich mit Abst?nden den Volksz?hler ans
laufen zubringen...
und wenn ich dann hier lese, dass es bei vielen prima l?uft, bin ich
geneigt alle meine Computer zu verkaufen und mir eine Angeln zu
beschaffen.....
ich beschreibe was ich so alles probiert habe
als erste habe ich bei Udo ein Y-Node bestellt, das l?uft ...
ein Debian auf Virtualbox installiert, dort vzlogger nach Anleitung ...
Vzlogger brach nach unterschiedlichen Laufzeiten ab... "segmentation fault"
wir haben festgestellt, das malloc mit den Speicher der Gast-Maschine
nutzt, sondern den Speicher des Hostrechner ..
dann mache ich das mit Vmware-Workstation.... das gleiche Problem...
ok, dachte ich, machen wir das ganze auf einem realen Rechner, also
Debian installiert, vzlogger ... brach wieder ab ->segmentation fault
nun gut, dann lassen wir das mal und machen etwas anderes...
raspberry bestellt... etwas experimentiert ...
oh, es gibt f?r den Raspberry ein Image zum kopieren ...
also eine 8GB Karte, Image kopieren, endpacken und auf die Karte
geschrieben... bootet nicht...
kein Problem, machen wir das selbst.. Debian-Image kopieren
Vzlogger (C++ Version) gem?? Anleitung installiert, es gab keine
Fehlermeldungen ...
vzlogger -f -v 15 -c /etc/vzlogger.conf gestartet...
super, klappt...
so jetzt mit Ctrl-C abbrechen ... Meldung auf dem Bildschrim "closing
connctions to terminate"...
kein Prompt...

[Michael Wulz]

Hallo,

dein Wort in Gottes Ohr!

Ich hatte mir auch schon gedacht, alles zu verkaufen und G?rtner zu werden.

gruss
M

Post by Bernd Gewehr
Hallo,
seit etwa einem Jahr versuche ich mit Abst?nden den Volksz?hler ans
laufen zubringen...
und wenn ich dann hier lese, dass es bei vielen prima l?uft, bin ich
geneigt alle meine Computer zu verkaufen und mir eine Angeln zu
beschaffen.....
ich beschreibe was ich so alles probiert habe
als erste habe ich bei Udo ein Y-Node bestellt, das l?uft ...
ein Debian auf Virtualbox installiert, dort vzlogger nach Anleitung ...
Vzlogger brach nach unterschiedlichen Laufzeiten ab... "segmentation fault"
wir haben festgestellt, das malloc mit den Speicher der Gast-Maschine
nutzt, sondern den Speicher des Hostrechner ..
dann mache ich das mit Vmware-Workstation.... das gleiche Problem...
ok, dachte ich, machen wir das ganze auf einem realen Rechner, also
Debian installiert, vzlogger ... brach wieder ab ->segmentation fault
nun gut, dann lassen wir das mal und machen etwas anderes...
raspberry bestellt... etwas experimentiert ...
oh, es gibt f?r den Raspberry ein Image zum kopieren ...
also eine 8GB Karte, Image kopieren, endpacken und auf die Karte
geschrieben... bootet nicht...
kein Problem, machen wir das selbst.. Debian-Image kopieren
Vzlogger (C++ Version) gem?? Anleitung installiert, es gab keine
Fehlermeldungen ...
vzlogger -f -v 15 -c /etc/vzlogger.conf gestartet...
super, klappt...
so jetzt mit Ctrl-C abbrechen ... Meldung auf dem Bildschrim "closing
connctions to terminate"...
kein Prompt...

[Bernd Gewehr]

Bitte das Raspi-Image nehmen und nur den Bootloader austauschen!

Das ist sicher der einfachste Weg.
Mit den besten Gr??en

Bernd Gewehr

Post by Bernd Gewehr
Hallo,
dein Wort in Gottes Ohr!
Ich hatte mir auch schon gedacht, alles zu verkaufen und G?rtner zu werden.
gruss
M

Post by Bernd Gewehr
Hallo,
seit etwa einem Jahr versuche ich mit Abst?nden den Volksz?hler ans laufen zubringen...
und wenn ich dann hier lese, dass es bei vielen prima l?uft, bin ich geneigt alle meine Computer zu verkaufen und mir eine Angeln zu beschaffen.....
ich beschreibe was ich so alles probiert habe
als erste habe ich bei Udo ein Y-Node bestellt, das l?uft ...
ein Debian auf Virtualbox installiert, dort vzlogger nach Anleitung ...
Vzlogger brach nach unterschiedlichen Laufzeiten ab... "segmentation fault"
wir haben festgestellt, das malloc mit den Speicher der Gast-Maschine nutzt, sondern den Speicher des Hostrechner ..
dann mache ich das mit Vmware-Workstation.... das gleiche Problem...
ok, dachte ich, machen wir das ganze auf einem realen Rechner, also Debian installiert, vzlogger ... brach wieder ab ->segmentation fault
nun gut, dann lassen wir das mal und machen etwas anderes...
raspberry bestellt... etwas experimentiert ...
oh, es gibt f?r den Raspberry ein Image zum kopieren ...
also eine 8GB Karte, Image kopieren, endpacken und auf die Karte geschrieben... bootet nicht...
kein Problem, machen wir das selbst.. Debian-Image kopieren
Vzlogger (C++ Version) gem?? Anleitung installiert, es gab keine Fehlermeldungen ...
vzlogger -f -v 15 -c /etc/vzlogger.conf gestartet...
super, klappt...
so jetzt mit Ctrl-C abbrechen ... Meldung auf dem Bildschrim "closing connctions to terminate"...
kein Prompt...

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130704/eef5382b/attachment.html>

[Jürgen Herrmann]

Post by Bernd Gewehr
Bitte das Raspi-Image nehmen und nur den Bootloader austauschen!
Das ist sicher der einfachste Weg.

gute Idee ... ist dort eine besondere Version des vzLogger drauf?
dann gibt versionen, die nicht laufen ?????

Post by Bernd Gewehr
Mit den besten Gr??en
Bernd Gewehr
Am 04.07.2013 um 07:57 schrieb Michael Wulz <michael.wulz at gmail.com

Post by Bernd Gewehr
Hallo,
dein Wort in Gottes Ohr!
Ich hatte mir auch schon gedacht, alles zu verkaufen und G?rtner zu werden.

ich habe mich heute um eine Stelle als G?rtnergehilfe beworben ...;-)

Post by Bernd Gewehr

Post by Bernd Gewehr
gruss
M

Post by Bernd Gewehr
Hallo,
seit etwa einem Jahr versuche ich mit Abst?nden den Volksz?hler ans laufen zubringen...
und wenn ich dann hier lese, dass es bei vielen prima l?uft, bin ich
geneigt alle meine Computer zu verkaufen und mir eine Angeln zu
beschaffen.....
ich beschreibe was ich so alles probiert habe
als erste habe ich bei Udo ein Y-Node bestellt, das l?uft ...
ein Debian auf Virtualbox installiert, dort vzlogger nach Anleitung ...
Vzlogger brach nach unterschiedlichen Laufzeiten ab... "segmentation fault"
wir haben festgestellt, das malloc mit den Speicher der
Gast-Maschine nutzt, sondern den Speicher des Hostrechner ..
dann mache ich das mit Vmware-Workstation.... das gleiche Problem...
ok, dachte ich, machen wir das ganze auf einem realen Rechner, also
Debian installiert, vzlogger ... brach wieder ab ->segmentation fault
nun gut, dann lassen wir das mal und machen etwas anderes...
raspberry bestellt... etwas experimentiert ...
oh, es gibt f?r den Raspberry ein Image zum kopieren ...
also eine 8GB Karte, Image kopieren, endpacken und auf die Karte
geschrieben... bootet nicht...
kein Problem, machen wir das selbst.. Debian-Image kopieren
Vzlogger (C++ Version) gem?? Anleitung installiert, es gab keine Fehlermeldungen ...
vzlogger -f -v 15 -c /etc/vzlogger.conf gestartet...
super, klappt...
so jetzt mit Ctrl-C abbrechen ... Meldung auf dem Bildschrim
"closing connctions to terminate"...
kein Prompt...

--
J?rgen Herrmann
plugid.de
Runkeler Stra?e 26
65594 Runkel
Fax: [phone]
Mobil: 0176 345 20 143
Mail: info at plugid.de
Ust-IdNr. DE240189720

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130704/2ed587b6/attachment.html>

[Udo1]

Post by Jürgen Herrmann
dann gibt versionen, die nicht laufen ?????

Nein, aber es gab und wird es Versionen geben die Fehler beinhalten.
Der Fehler mit "segmentation fault" d?rfte mittlerweile der
Vergangenheit angeh?ren.
Jetzt warten wir auf den Fehler im Nuklear-Programm der dann irgendwann
alle Atomraketen startet. Was ich damit sagen will ist, dass es kein
Programm gibt, was nicht irgendwo eine Macke hat. Die kann man dann
erkennen und beseitigen.
(Naja, beim Nuklear-Programm hat es sich dann erledigt... ;))

Gru?
Udo

ps. : seit wann bricht man vzlogger mit ctrl-c ab?

[Jürgen Herrmann]

Post by Udo1

Post by Jürgen Herrmann
dann gibt versionen, die nicht laufen ?????

Nein, aber es gab und wird es Versionen geben die Fehler beinhalten.
Der Fehler mit "segmentation fault" d?rfte mittlerweile der
Vergangenheit angeh?ren.
Jetzt warten wir auf den Fehler im Nuklear-Programm der dann
irgendwann alle Atomraketen startet. Was ich damit sagen will ist,
dass es kein Programm gibt, was nicht irgendwo eine Macke hat. Die
kann man dann erkennen und beseitigen.
(Naja, beim Nuklear-Programm hat es sich dann erledigt... ;))
Gru?
Udo
ps. : seit wann bricht man vzlogger mit ctrl-c ab?

es ist mir schon klar, das es immer Fehler in Programmen geben wird

vzlogger -f -v 10 -c /etc/vzlogger.conf ... aufrufen...
schauen, das die Sensoren erkannt werden... und nat?rlich Vzlogger
abbrechen ...
um was ?ndern oder normal zustarten ..

ok, ich will aber jetzt nicht weiter klagen..

juergen

[Bernd Gewehr]

Ich nutze das VZ-debian Paket von vzlogger und habe uptimes von mehreren Wochen ohne Fehler.
Mit den besten Gr??en

Bernd Gewehr

Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by Jürgen Herrmann

Post by Udo1

Post by Jürgen Herrmann
dann gibt versionen, die nicht laufen ?????

Nein, aber es gab und wird es Versionen geben die Fehler beinhalten.
Der Fehler mit "segmentation fault" d?rfte mittlerweile der Vergangenheit angeh?ren.
Jetzt warten wir auf den Fehler im Nuklear-Programm der dann irgendwann alle Atomraketen startet. Was ich damit sagen will ist, dass es kein Programm gibt, was nicht irgendwo eine Macke hat. Die kann man dann erkennen und beseitigen.
(Naja, beim Nuklear-Programm hat es sich dann erledigt... ;))
Gru?
Udo
ps. : seit wann bricht man vzlogger mit ctrl-c ab?

es ist mir schon klar, das es immer Fehler in Programmen geben wird
vzlogger -f -v 10 -c /etc/vzlogger.conf ... aufrufen...
schauen, das die Sensoren erkannt werden... und nat?rlich Vzlogger abbrechen ...
um was ?ndern oder normal zustarten ..
ok, ich will aber jetzt nicht weiter klagen..
juergen
--
J?rgen Herrmann
plugid.de
Runkeler Stra?e 26
65594 Runkel
Fax: [phone]
Mobil: 0176 345 20 143
Mail: info at plugid.de
Ust-IdNr. DE240189720

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130704/3d284119/attachment-0001.html>

[Jürgen Herrmann]

hallo,
wie erfahre ich eigentlich die UUID meine EHL-Stromz?hler ohne vzlogger?

[Bernd Gewehr]

Klick auf das i im Frontend!

Mit den besten Gr??en

Bernd Gewehr

Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by sollner11
hallo,
wie erfahre ich eigentlich die UUID meine EHL-Stromz?hler ohne vzlogger?

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130705/a3628133/attachment.html>

[Jürgen Herrmann]

Post by Bernd Gewehr
Klick auf das i im Frontend!

das ist aber eine Demo-UUID...
ich meinte wie kann ich den UUID des EHL erfahren. vzlogger geht ja
nicht geht....

Post by Bernd Gewehr
Mit den besten Gr??en
Bernd Gewehr
Burgstr. 45F <x-apple-data-detectors://0/0>
45289 Essen <x-apple-data-detectors://0/0>
02014784606 <tel:[phone]>
015209328236 <tel:[phone]>
Am 05.07.2013 um 13:02 schrieb J?rgen Herrmann

Post by sollner11
hallo,
wie erfahre ich eigentlich die UUID meine EHL-Stromz?hler ohne vzlogger?

--
J?rgen Herrmann
plugid.de
Runkeler Stra?e 26
65594 Runkel
Fax: [phone]
Mobil: 0176 345 20 143
Mail: info at plugid.de
Ust-IdNr. DE240189720

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130705/df1c9b9e/attachment.html>

[Bernd Gewehr]

Du musst den Kanal im Frontend erzeugen, die uuid notieren und in der vzlogger.conf eintragen!

Mit den besten Gr??en

Bernd Gewehr

Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by Jürgen Herrmann

Post by Bernd Gewehr
Klick auf das i im Frontend!

das ist aber eine Demo-UUID...
ich meinte wie kann ich den UUID des EHL erfahren. vzlogger geht ja nicht geht....

Post by Bernd Gewehr
Mit den besten Gr??en
Bernd Gewehr
Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by sollner11
hallo,
wie erfahre ich eigentlich die UUID meine EHL-Stromz?hler ohne vzlogger?

--
J?rgen Herrmann
plugid.de
Runkeler Stra?e 26
65594 Runkel
Fax: [phone]
Mobil: 0176 345 20 143
Mail: info at plugid.de
Ust-IdNr. DE240189720

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130705/f0deea1e/attachment.html>

[Jürgen Herrmann]

ich weis mittlerweile nicht mehr, ob es das Prinzip richtig verstanden habe.
IR-LeseKopf -> Y-Node -> Vzlogger -> Datenbank -> Frontend -> Browser ->
Angucken ;-)
der IR-Kopf liest die Daten vom Z?hler, der eine UUID hat, Y-Node sendet
die Daten zu
zum Vzlogger, der diese ?ber einen Teil in die Datenbank schreibt....
das die UUID des Z?hler egal ist, habe ich total falsch verstanden, aber
ok..

welche version des VZlogger sollte man nun verwenden?

J?rgen

Post by Bernd Gewehr
Du musst den Kanal im Frontend erzeugen, die uuid notieren und in der
vzlogger.conf eintragen!
Mit den besten Gr??en
Bernd Gewehr
Burgstr. 45F <x-apple-data-detectors://0/0>
45289 Essen <x-apple-data-detectors://0/0>
02014784606 <tel:[phone]>
015209328236 <tel:[phone]>
Am 05.07.2013 um 14:10 schrieb J?rgen Herrmann

Post by Jürgen Herrmann

Post by Bernd Gewehr
Klick auf das i im Frontend!

das ist aber eine Demo-UUID...
ich meinte wie kann ich den UUID des EHL erfahren. vzlogger geht ja nicht geht....

Post by Bernd Gewehr
Mit den besten Gr??en
Bernd Gewehr
Burgstr. 45F <x-apple-data-detectors://0/0>
45289 Essen <x-apple-data-detectors://0/0>
02014784606 <tel:[phone]>
015209328236 <tel:[phone]>
Am 05.07.2013 um 13:02 schrieb J?rgen Herrmann

Post by sollner11
hallo,
wie erfahre ich eigentlich die UUID meine EHL-Stromz?hler ohne vzlogger?

--
J?rgen Herrmann
plugid.de <http://plugid.de>
Runkeler Stra?e 26
65594 Runkel
Fax: [phone]
Mobil: 0176 345 20 143
Mail:info at plugid.de
Ust-IdNr. DE240189720

--
J?rgen Herrmann
plugid.de
Runkeler Stra?e 26
65594 Runkel
Fax: [phone]
Mobil: 0176 345 20 143
Mail: info at plugid.de
Ust-IdNr. DE240189720

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://demo.volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130705/9bf065cc/attachment-0001.html>

[Udo1]

Post by Jürgen Herrmann
vom Z?hler, der eine UUID hat

Nein, der Z?hler hat keine UUID.
Eine UUID wird erzeugt indem du im Frontend einen Kanal anlegst. ?ber
den "i"-Button wird dir dann die UUID des Kanals angezeigt.
Diese UUID tr?gst du dann in der vzlogger-config ein, d.h. du ordnest
sie dem Eingang, in diesem Fall der Datenstrom von deinem Z?hler, zu.

Gru?
Udo

[Jürgen Herrmann]

Post by Udo1

Post by Jürgen Herrmann
vom Z?hler, der eine UUID hat

Nein, der Z?hler hat keine UUID.
Eine UUID wird erzeugt indem du im Frontend einen Kanal anlegst. ?ber
den "i"-Button wird dir dann die UUID des Kanals angezeigt.
Diese UUID tr?gst du dann in der vzlogger-config ein, d.h. du ordnest
sie dem Eingang, in diesem Fall der Datenstrom von deinem Z?hler, zu.
Gru?
Udo

aha.....Danke

[Andreas Goetz]

Hallo Zusammen,

eine Optimierung welche mir f?r vzcompress noch einfiele w?re die
L?schung (nicht nur Komprimierung) redundanter Nullwerte.

Hintergrund: bei "normalen" Stromz?hlern (aber auch Verbrauchsmessern)
ist tags?ber w?hrend die PV l?uft der Bezug meist 0, ebenso sind
Einspeisung und Erzeugung nachts eigentlich immer 0. Diese Nullen lie?en
sind- bis auf die jeweils erste und letzter einer 0-Strecke einsparen.
Die letzte 0 wird ben?tige, damit das Frontend keine Rampen in die
Darstellung einbaut.

Nachteilig ist nat?rlich dass man nich tmehr so einfach auf der
Datenbank Werte mehrerer Kan?le f?r einen Timestamp "zusammenjoinen"
kann- aber andererseits ist auch klar, dass kein Wert automatisch eine 0
im Verbrauch bedeutet.

Wie w?r's- bekommen wir das in die Neuimplementierung noch mit rein?

Viele Gr??e,
Andreas

[Florian Knodt]

Post by Andreas Goetz
eine Optimierung welche mir f?r vzcompress noch einfiele w?re die
L?schung (nicht nur Komprimierung) redundanter Nullwerte.

Bei MeterInterpreter die nullen, bei SensorInterpreter
aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei
letzterem gleich bleibt sollte das ?hnlich funktionieren.

Post by Andreas Goetz
0-Strecke einsparen. Die letzte 0 wird ben?tige, damit das Frontend
keine Rampen in die Darstellung einbaut.

Guter Punkt, das h?tte ich glatt verpennt?

Post by Andreas Goetz
Nachteilig ist nat?rlich dass man nich tmehr so einfach auf der
Datenbank Werte mehrerer Kan?le f?r einen Timestamp "zusammenjoinen"
kann

...und ggf. nicht so weit im Frontend zoomen kann - afair zeigt das
nichts an wenn keine Daten vorhanden sind. Wenn wir den ganzen
(Sonnen)Tag von 0 reden und z.B. auf Stundenansicht gehen k?nnte das
ggf. auch etwas seltsam aussehen

Post by Andreas Goetz
Wie w?r's- bekommen wir das in die Neuimplementierung noch mit rein?

"noch"? ich mach von meiner Seite keinen Schreibschutz drauf und
deklariere es als fertig ;) Spa? beiseite: Ist notiert und h?rt sich
erfolgsversprechend an, wenn ich etwas Zeit bekomme und der Schleifenbug
raus ist schau ichs mir an.

[Andreas Goetz]

Hallo Florian,

mit etwas mehr Zeit kann ich Dir jetzt ausf?hrlicher antworten. Zur
Erinerung nochmal das Statement (mit kleinen Optimierungen):

-- delete - all channels
delete from data
where id in (
select id from (
select o.channel_id, o.id,
(
select max(timestamp)
from data i_p
where i_p.channel_id = o.channel_id
and i_p.timestamp < o.timestamp
) as prev_ts,
p.id as prev_id, p.value as prev_value,
(
select min(timestamp)
from data i_n
where i_n.channel_id = o.channel_id
and i_n.timestamp > o.timestamp
) as next_ts,
n.id as next_id, n.value as next_value
from data o
left join data p on p.timestamp = prev_ts and o.channel_id
= p.channel_id
left join data n on n.timestamp = next_ts and o.channel_id
= n.channel_id
where o.channel_id in (select id from entities where class =
"channel")
and p.value = o.value
and n.value = o.value
and o.value = 0
)
)

Post by Florian Knodt
Nabend die Dritte,
das ist jetzt die 0-Wert-L?schung? Er sucht 3 aufeinanderfolgende
Werte eines Kanals und l?scht wenn alle 0 sind den Mittleren, richtig?

Wenn Du Dir das innere SELECT anschaust siehst Du, dass alle Datens?tze
zur?ckgegeben werden, die den gleichen Wert aufweisen wie der vorherige
und n?chste Datensatz im gleichen Kanal- das sind also die
"innenliegenden" Datens?tze einer Folge. Mit dem ?u?eren SELECT wird
diese Liste auf die IDs reduziert und der L?schung zugef?hrt.
Die Einschr?nkung auf Nullwerte erfolgt mit dem letzten Teil der
WHERE-Clause.

Post by Florian Knodt

Post by Andreas Goetz
eine Optimierung welche mir f?r vzcompress noch einfiele w?re die
L?schung (nicht nur Komprimierung) redundanter Nullwerte.

Bei MeterInterpreter die nullen, bei SensorInterpreter
aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei
letzterem gleich bleibt sollte das ?hnlich funktionieren.

Guter Punkt. Wenn Die den letzten Teil der WHERE-Clause (=0) wegl?sst,
ist jetzt auch dieser Fall mit abgedeckt.

Post by Florian Knodt

Post by Andreas Goetz
0-Strecke einsparen. Die letzte 0 wird ben?tige, damit das Frontend
keine Rampen in die Darstellung einbaut.

Guter Punkt, das h?tte ich glatt verpennt?

Leider funktioniert das nach meinen Tests trotzdem nicht. Die Werte
stehen korrekt in der DB, werden per JSON korrekt zur?ckgeliefert, aber
im Chart wird die letzte Null eines Bereiches ignoriert. Ursache ist mir
nicht klar.

Post by Florian Knodt

Post by Andreas Goetz
Nachteilig ist nat?rlich dass man nich tmehr so einfach auf der
Datenbank Werte mehrerer Kan?le f?r einen Timestamp "zusammenjoinen"
kann

...und ggf. nicht so weit im Frontend zoomen kann - afair zeigt das
nichts an wenn keine Daten vorhanden sind. Wenn wir den ganzen
(Sonnen)Tag von 0 reden und z.B. auf Stundenansicht gehen k?nnte das
ggf. auch etwas seltsam aussehen

Auch ein guter Punkt- aber das gleiche Problem, welches auch bei
Komprimierung der Werte besteht, oder? Im SQL k?nnte man den maximalen
Zoomraum durch Einschr?nkung der WHERE-Clause vor L?schung sch?tzen:

...
and p.timestamp < o.timestamp - 1*60*1000
and n.timestamp > o.timestamp - 1*60*1000

damit sind dann nur Datens?tze betroffen, deren Vorg?nger und Nachfolger
_innerhalb_ eines angegebenen Intervalls liegen (vmtl. m?sste man sich
aber eher auf den Intervallanfang/ende konzentrieren- das braucht noch
etwas Bastelei). Der Weg sollte der gleiche sein.

Post by Florian Knodt

Post by Andreas Goetz
Wie w?r's- bekommen wir das in die Neuimplementierung noch mit rein?

"noch"? ich mach von meiner Seite keinen Schreibschutz drauf und
deklariere es als fertig ;) Spa? beiseite: Ist notiert und h?rt sich
erfolgsversprechend an, wenn ich etwas Zeit bekomme und der
Schleifenbug raus ist schau ichs mir an.

Ich bin gespannt- gibts eigentlich ein GIT daf?r?

Viele Gr??e,
Andreas

[Florian Knodt]

Nabend,

Post by Andreas Goetz

Post by Florian Knodt
Bei MeterInterpreter die nullen, bei SensorInterpreter
aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei
letzterem gleich bleibt sollte das ?hnlich funktionieren.

Guter Punkt. Wenn Die den letzten Teil der WHERE-Clause (=0)
wegl?sst, ist jetzt auch dieser Fall mit abgedeckt.

Moment, Moment, ich glaub mit reinem SQL geht das nicht - wenn ich
richtig im Kopf hab werden bei MeterInterpreter ja die Pulse notiert,
also d?rften in dem Fall gleiche Werte >0 nicht gel?scht werden, sonst
stimmen die Messwerte danach nicht mehr. Obs MeterPreter ist steht
allerdings nur in der JSON, nit in der SQL.

Post by Andreas Goetz

Post by Florian Knodt
...und ggf. nicht so weit im Frontend zoomen kann (...)

Auch ein guter Punkt- aber das gleiche Problem, welches auch bei
Komprimierung der Werte besteht, oder?

Jein - bei der jetzigen "Komprimierung" hat man ja meist noch recht
kleine Zeitr?ume - 5Min, 15Min, wegen mir ne Stunde - an einem guten
Sonnentag k?nnte aber der ?ffentlich Stromz?hler (wenn man sich selbst
versorgt) fast 12h ohne ?nderung, also mit hier?ber gel?schten
Messwerten, da stehen. Wird aber wohl f?r die meisten Bereiche eher
uninteressant sein.

Post by Andreas Goetz
Ich bin gespannt- gibts eigentlich ein GIT daf?r?

Nun es liegt zumindest auf Github ;) - ist allerdings eine branch des
vz-git, nichts eigenes nur f?r das Script.
<https://github.com/adlerweb/volkszaehler.org/tree/vzcompress2>

[sollner11]

Hallo,

ich m?chte nun noch meine DB schrumpfen.

1. ich hole mir das Script
2. ich lege in /misc/tools/ die vzcompress2.php an
3.

Was muss ich alles editieren?
4. Pfad
define('VZCOMPRESS2_VZPATH', '../../');
was kommt da rein?

5. compressscheme
muss ich Channel irgendwie editieren, wenn ich alle haben will?


Danke und Gruss
Sillner11

Post by Florian Knodt
Nabend,

Post by Andreas Goetz

Bei MeterInterpreter die nullen, bei SensorInterpreter aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei letzterem gleich bleibt sollte das ?hnlich funktionieren.

Guter Punkt. Wenn Die den letzten Teil der WHERE-Clause (=0)
wegl?sst, ist jetzt auch dieser Fall mit abgedeckt.

Moment, Moment, ich glaub mit reinem SQL geht das nicht - wenn ich richtig im Kopf hab werden bei MeterInterpreter ja die Pulse notiert, also d?rften in dem Fall gleiche Werte >0 nicht gel?scht werden, sonst stimmen die Messwerte danach nicht mehr. Obs MeterPreter ist steht allerdings nur in der JSON, nit in der SQL.

Post by Andreas Goetz

...und ggf. nicht so weit im Frontend zoomen kann (...)

Auch ein guter Punkt- aber das gleiche Problem, welches auch bei
Komprimierung der Werte besteht, oder?

Jein - bei der jetzigen "Komprimierung" hat man ja meist noch recht kleine Zeitr?ume - 5Min, 15Min, wegen mir ne Stunde - an einem guten Sonnentag k?nnte aber der ?ffentlich Stromz?hler (wenn man sich selbst versorgt) fast 12h ohne ?nderung, also mit hier?ber gel?schten Messwerten, da stehen. Wird aber wohl f?r die meisten Bereiche eher uninteressant sein.

Post by Andreas Goetz
Ich bin gespannt- gibts eigentlich ein GIT daf?r?

Nun es liegt zumindest auf Github ;) - ist allerdings eine branch des vz-git, nichts eigenes nur f?r das Script. <https://github.com/adlerweb/volkszaehler.org/tree/vzcompress2>
--
Florian

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/853340b5/attachment.html>

[Bernd Gewehr]

- VZCompress2 installieren und als Cronjob starten evtl. mit # disabled im Standard
cd /var/www/volkszaehler.org/misc/tools
sudo wgethttps://raw.github.com/adlerweb/volkszaehler.org/vzcompress2/misc/tools/vzcompress2.php
sudo nano vzcompress2.php
Zeile /../../ ersetzten durch /var/www/volkszaehler.org/
Sudo crontab -e
Zeile 1 1 * * * php /var/www/volkszaehler.org/misc/tools/vzcompress2.php >> /var/log/vzcompress.log hinzuf?gen, dann Strg+k+x

Mit den besten Gr??en

Bernd Gewehr

Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by Bernd Gewehr
Hallo,
ich m?chte nun noch meine DB schrumpfen.
1. ich hole mir das Script
2. ich lege in /misc/tools/ die vzcompress2.php an
3.
Was muss ich alles editieren?
4. Pfad
define('VZCOMPRESS2_VZPATH', '../../');
was kommt da rein?
5. compressscheme
muss ich Channel irgendwie editieren, wenn ich alle haben will?
Danke und Gruss
Sillner11

Post by Florian Knodt
Nabend,

Post by Andreas Goetz

Bei MeterInterpreter die nullen, bei SensorInterpreter aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei letzterem gleich bleibt sollte das ?hnlich funktionieren.

Guter Punkt. Wenn Die den letzten Teil der WHERE-Clause (=0)
wegl?sst, ist jetzt auch dieser Fall mit abgedeckt.

Moment, Moment, ich glaub mit reinem SQL geht das nicht - wenn ich richtig im Kopf hab werden bei MeterInterpreter ja die Pulse notiert, also d?rften in dem Fall gleiche Werte >0 nicht gel?scht werden, sonst stimmen die Messwerte danach nicht mehr. Obs MeterPreter ist steht allerdings nur in der JSON, nit in der SQL.

Post by Andreas Goetz

...und ggf. nicht so weit im Frontend zoomen kann (...)

Auch ein guter Punkt- aber das gleiche Problem, welches auch bei
Komprimierung der Werte besteht, oder?

Jein - bei der jetzigen "Komprimierung" hat man ja meist noch recht kleine Zeitr?ume - 5Min, 15Min, wegen mir ne Stunde - an einem guten Sonnentag k?nnte aber der ?ffentlich Stromz?hler (wenn man sich selbst versorgt) fast 12h ohne ?nderung, also mit hier?ber gel?schten Messwerten, da stehen. Wird aber wohl f?r die meisten Bereiche eher uninteressant sein.

Post by Andreas Goetz
Ich bin gespannt- gibts eigentlich ein GIT daf?r?

Nun es liegt zumindest auf Github ;) - ist allerdings eine branch des vz-git, nichts eigenes nur f?r das Script. <https://github.com/adlerweb/volkszaehler.org/tree/vzcompress2>
--
Florian

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/6cd6ff71/attachment.html>

[sollner11]

danke

ich will das an einer SD machen, die bis vor 14 Tagen aktiv war
geht das, obwohl vzlogger nicht l?uft und auch keine Optok?pfe dranh?ngen
ist ein zweiter Raspi, h?ngt in der Luft sozusagen

Gruss

Post by Bernd Gewehr
- VZCompress2 installieren und als Cronjob starten evtl. mit # disabled im Standard
cd /var/www/volkszaehler.org/misc/tools
sudo wgethttps://raw.github.com/adlerweb/volkszaehler.org/vzcompress2/misc/tools/vzcompress2.php
sudo nano vzcompress2.php
Zeile /../../ ersetzten durch /var/www/volkszaehler.org/
Sudo crontab -e
Zeile 1 1 * * * php /var/www/volkszaehler.org/misc/tools/vzcompress2.php >> /var/log/vzcompress.log hinzuf?gen, dann Strg+k+x
Mit den besten Gr??en
Bernd Gewehr
Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by Bernd Gewehr
Hallo,
ich m?chte nun noch meine DB schrumpfen.
1. ich hole mir das Script
2. ich lege in /misc/tools/ die vzcompress2.php an
3.
Was muss ich alles editieren?
4. Pfad
define('VZCOMPRESS2_VZPATH', '../../');
was kommt da rein?
5. compressscheme
muss ich Channel irgendwie editieren, wenn ich alle haben will?
Danke und Gruss
Sillner11

Post by Florian Knodt
Nabend,

Post by Andreas Goetz

Bei MeterInterpreter die nullen, bei SensorInterpreter aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei letzterem gleich bleibt sollte das ?hnlich funktionieren.

Guter Punkt. Wenn Die den letzten Teil der WHERE-Clause (=0)
wegl?sst, ist jetzt auch dieser Fall mit abgedeckt.

Moment, Moment, ich glaub mit reinem SQL geht das nicht - wenn ich richtig im Kopf hab werden bei MeterInterpreter ja die Pulse notiert, also d?rften in dem Fall gleiche Werte >0 nicht gel?scht werden, sonst stimmen die Messwerte danach nicht mehr. Obs MeterPreter ist steht allerdings nur in der JSON, nit in der SQL.

Post by Andreas Goetz

...und ggf. nicht so weit im Frontend zoomen kann (...)

Auch ein guter Punkt- aber das gleiche Problem, welches auch bei
Komprimierung der Werte besteht, oder?

Jein - bei der jetzigen "Komprimierung" hat man ja meist noch recht kleine Zeitr?ume - 5Min, 15Min, wegen mir ne Stunde - an einem guten Sonnentag k?nnte aber der ?ffentlich Stromz?hler (wenn man sich selbst versorgt) fast 12h ohne ?nderung, also mit hier?ber gel?schten Messwerten, da stehen. Wird aber wohl f?r die meisten Bereiche eher uninteressant sein.

Post by Andreas Goetz
Ich bin gespannt- gibts eigentlich ein GIT daf?r?

Nun es liegt zumindest auf Github ;) - ist allerdings eine branch des vz-git, nichts eigenes nur f?r das Script. <https://github.com/adlerweb/volkszaehler.org/tree/vzcompress2>
--
Florian

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/d135a80b/attachment-0001.html>

[Florian Knodt]

Ja funktioniert - der greift direkt auf die Datenbank zu, es m?ssen dazu keine weiteren Dienste laufen.

Noch ein Hinweis an die anderen hier: inzwischen ist die Funktion mit der Logdatei mit drin

Post by sollner11
danke
ich will das an einer SD machen, die bis vor 14 Tagen aktiv war
geht das, obwohl vzlogger nicht l?uft und auch keine Optok?pfe
dranh?ngen
ist ein zweiter Raspi, h?ngt in der Luft sozusagen
Gruss

Post by Bernd Gewehr
- VZCompress2 installieren und als Cronjob starten evtl. mit #

disabled im Standard

Post by Bernd Gewehr
cd /var/www/volkszaehler.org/misc/tools
sudo

wgethttps://raw.github.com/adlerweb/volkszaehler.org/vzcompress2/misc/tools/vzcompress2.php

Post by Bernd Gewehr
sudo nano vzcompress2.php
Zeile /../../ ersetzten durch /var/www/volkszaehler.org/
Sudo crontab -e
Zeile 1 1 * * * php

/var/www/volkszaehler.org/misc/tools/vzcompress2.php >>
/var/log/vzcompress.log hinzuf?gen, dann Strg+k+x

Post by Bernd Gewehr
Mit den besten Gr??en
Bernd Gewehr
Burgstr. 45F
45289 Essen
02014784606
015209328236

Post by Bernd Gewehr
Hallo,
ich m?chte nun noch meine DB schrumpfen.
1. ich hole mir das Script
2. ich lege in /misc/tools/ die vzcompress2.php an
3.
Was muss ich alles editieren?
4. Pfad
define('VZCOMPRESS2_VZPATH', '../../');
was kommt da rein?
5. compressscheme
muss ich Channel irgendwie editieren, wenn ich alle haben will?
Danke und Gruss
Sillner11

Post by Florian Knodt
Nabend,

Post by Andreas Goetz

Post by Florian Knodt
Bei MeterInterpreter die nullen, bei SensorInterpreter

aufeinanderfolgende und identische Werte w?rde ich sagen - wenns bei
letzterem gleich bleibt sollte das ?hnlich funktionieren.

Post by Bernd Gewehr

Post by Bernd Gewehr

Post by Florian Knodt

Post by Andreas Goetz
Guter Punkt. Wenn Die den letzten Teil der WHERE-Clause (=0)
wegl?sst, ist jetzt auch dieser Fall mit abgedeckt.

Moment, Moment, ich glaub mit reinem SQL geht das nicht - wenn ich

richtig im Kopf hab werden bei MeterInterpreter ja die Pulse notiert,
also d?rften in dem Fall gleiche Werte >0 nicht gel?scht werden, sonst
stimmen die Messwerte danach nicht mehr. Obs MeterPreter ist steht
allerdings nur in der JSON, nit in der SQL.

Post by Bernd Gewehr

Post by Bernd Gewehr

Post by Florian Knodt

Post by Andreas Goetz

Post by Florian Knodt
...und ggf. nicht so weit im Frontend zoomen kann (...)

Auch ein guter Punkt- aber das gleiche Problem, welches auch bei
Komprimierung der Werte besteht, oder?

Jein - bei der jetzigen "Komprimierung" hat man ja meist noch recht

kleine Zeitr?ume - 5Min, 15Min, wegen mir ne Stunde - an einem guten
Sonnentag k?nnte aber der ?ffentlich Stromz?hler (wenn man sich selbst
versorgt) fast 12h ohne ?nderung, also mit hier?ber gel?schten
Messwerten, da stehen. Wird aber wohl f?r die meisten Bereiche eher
uninteressant sein.

Post by Bernd Gewehr

Post by Bernd Gewehr

Post by Florian Knodt

Post by Andreas Goetz
Ich bin gespannt- gibts eigentlich ein GIT daf?r?

Nun es liegt zumindest auf Github ;) - ist allerdings eine branch

des vz-git, nichts eigenes nur f?r das Script.
<https://github.com/adlerweb/volkszaehler.org/tree/vzcompress2>

Post by Bernd Gewehr

Post by Bernd Gewehr

Post by Florian Knodt
--
Florian

--
Mit freundlichen Gr??en ?|| ?Sincerely yours
Florian Knodt ?? Im Teich 11 ?? 56648 Saffig
www.adlerweb.info ? www.56648.de ? @adlerweb
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/d09df9ba/attachment.html>

[sollner11]

Post by Florian Knodt
Ja funktioniert - der greift direkt auf die Datenbank zu, es m?ssen dazu keine weiteren Dienste laufen.

danke

Post by Florian Knodt

root at raspberrypi:/var/www/volkszaehler.org/misc/tools# php vzcompress2.php
Processing Sensor ID 4...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type electric meter in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Processing Sensor ID 6...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type electric meter in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Processing Sensor ID 7...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type electric meter in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Processing Sensor ID 9...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type powersensor in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Done. Purged Datapoints from 4 Channels in 0 Seconds

???
hab ich was vergessen zu editieren, oder

Post by Florian Knodt
Noch ein Hinweis an die anderen hier: inzwischen ist die Funktion mit der Logdatei mit drin

muss man das noch machen?
https://github.com/volkszaehler/volkszaehler.org/pull/43/files


Gruss


-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/075fc0a5/attachment.html>

[Bernd Gewehr]

Post by sollner11

Post by Florian Knodt
Ja funktioniert - der greift direkt auf die Datenbank zu, es m?ssen dazu keine weiteren Dienste laufen.

danke

Post by Florian Knodt

root at raspberrypi:/var/www/volkszaehler.org/misc/tools# php vzcompress2.php
Processing Sensor ID 4...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type electric meter in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Processing Sensor ID 6...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type electric meter in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Processing Sensor ID 7...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type electric meter in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Processing Sensor ID 9...
PHP Warning: Invalid argument supplied for foreach() in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 196
PHP Warning: Could not detect inperpreter for type powersensor in /var/www/volkszaehler.org/misc/tools/vzcompress2.php on line 203
Done. Purged Datapoints from 4 Channels in 0 Seconds

???
hab ich was vergessen zu editieren, oder

Die entities.json muss entweder aus dem vz-GIT neu gezogen werden oder du musst den Kommentar unten vor Icon = ... wegnehmen, da Kommentare mitten in json-Dateien nicht zugelassen sind.

Mit den besten Gr??en
Bernd Gewehr

Post by sollner11

Post by Florian Knodt
Noch ein Hinweis an die anderen hier: inzwischen ist die Funktion mit der Logdatei mit drin

muss man das noch machen?
https://github.com/volkszaehler/volkszaehler.org/pull/43/files
Gruss

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/fb939869/attachment-0001.html>

[sollner11]

Post by Bernd Gewehr
Die entities.json muss entweder aus dem vz-GIT neu gezogen werden oder du musst den Kommentar unten vor Icon = ... wegnehmen, da Kommentare mitten in json-Dateien nicht zugelassen sind.

also doch das hier:
https://github.com/volkszaehler/volkszaehler.org/pull/43/files

nur da isses eine EntityDefinition.json
na hoffentlich finde ich die



-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/45ba8ff1/attachment.html>

[Bernd Gewehr]

from: sollner11
Sent: Sunday, April 21, 2013 4:01 PM
To: volkszaehler.org
Subject: Re: [vz-dev] Alternative Implementierung f?r vzcompress


Am 21.04.2013 um 15:51 schrieb Bernd Gewehr <Bernd at gewehr.net>:


Die entities.json muss entweder aus dem vz-GIT neu gezogen werden oder du musst den Kommentar unten vor Icon = ... wegnehmen, da Kommentare mitten in json-Dateien nicht zugelassen sind.

also doch das hier:
https://github.com/volkszaehler/volkszaehler.org/pull/43/files

nur da isses eine EntityDefinition.json
na hoffentlich finde ich die
Ja, die meinte ich auch!
Gru?, Bernd



-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/fc5bbf6c/attachment.html>

[Andreas Goetz]

Hallo Zusammen,

und gleich noch ein Vorschlag hinterher- mit untenstehendem SQL konnte
ich meine DB mit 5 Kan?len um 30% reduzieren- ohne Information zu verlieren:

delete from data
where id in (
select id from (
select o.id,
(
select max(timestamp)
from data i_p
where i_p.channel_id = o.channel_id
and i_p.timestamp < o.timestamp
) as prev_ts,
p.id as prev_id, p.value as prev_value,
(
select min(timestamp)
from data i_n
where i_n.channel_id = o.channel_id
and i_n.timestamp > o.timestamp
) as next_ts,
n.id as next_id, n.value as next_value
from data o
left join data p on p.timestamp = prev_ts and o.channel_id
= p.channel_id
left join data n on n.timestamp = next_ts and o.channel_id
= n.channel_id
where o.channel_id in (select id from entities where class =
"channel")
and o.value = 0
and p.value = 0
and n.value = 0
)
)

Viele Gr??e,
Andreas

Post by Andreas Goetz
Hallo Zusammen,
eine Optimierung welche mir f?r vzcompress noch einfiele w?re die
L?schung (nicht nur Komprimierung) redundanter Nullwerte.
Hintergrund: bei "normalen" Stromz?hlern (aber auch Verbrauchsmessern)
ist tags?ber w?hrend die PV l?uft der Bezug meist 0, ebenso sind
Einspeisung und Erzeugung nachts eigentlich immer 0. Diese Nullen
lie?en sind- bis auf die jeweils erste und letzter einer 0-Strecke
einsparen. Die letzte 0 wird ben?tige, damit das Frontend keine Rampen
in die Darstellung einbaut.
Nachteilig ist nat?rlich dass man nich tmehr so einfach auf der
Datenbank Werte mehrerer Kan?le f?r einen Timestamp "zusammenjoinen"
kann- aber andererseits ist auch klar, dass kein Wert automatisch eine
0 im Verbrauch bedeutet.
Wie w?r's- bekommen wir das in die Neuimplementierung noch mit rein?
Viele Gr??e,
Andreas

[Florian Knodt]

Nabend die Dritte,

das ist jetzt die 0-Wert-L?schung? Er sucht 3 aufeinanderfolgende Werte
eines Kanals und l?scht wenn alle 0 sind den Mittleren, richtig?

[Andreas Götz]

Im Prinzip ja- aber alle, nicht nur 3!

Von meinem iPhone gesendet

Post by Florian Knodt
Nabend die Dritte,
das ist jetzt die 0-Wert-L?schung? Er sucht 3 aufeinanderfolgende Werte eines Kanals und l?scht wenn alle 0 sind den Mittleren, richtig?
--
Florian

[Florian Knodt]

EntityDefinition.json ist die richtige

[sollner11]

Hallo,

Post by Florian Knodt
EntityDefinition.json ist die richtige

ja, hatte es da gemacht

Post by Florian Knodt
Processing Sensor ID 4...
Compressing datapoints between 05.01.2013 18:14:54 and 19.03.2013 17:52:25 using a 60 second timeframe
Removed 3028791 Datapoints in 6013 Seconds.
Processing Sensor ID 6...
Compressing datapoints between 05.01.2013 18:14:54 and 19.03.2013 17:52:27 using a 60 second timeframe
Removed 2019882 Datapoints in 5202 Seconds.
Processing Sensor ID 7...
Compressing datapoints between 05.01.2013 18:41:50 and 19.03.2013 17:52:25 using a 60 second timeframe
Processing: 07.02.2013 02:15:50 - 07.02.2013 02:16:50 (44%)...

das ist der mit der alten (nicht aktiven) Installation

Post by Florian Knodt
root at raspberrypi:/var/www/volkszaehler.org/misc/tools# php vzcompress2.php
Processing Sensor ID 2...
Compressing datapoints between 21.03.2013 18:32:45 and 21.04.2013 00:30:58 using a 60 second timeframe
Processing: 29.03.2013 14:18:45 - 29.03.2013 14:19:45 (26%)... array(3) {
[0]=>
string(5) "HY000"
[1]=>
int(2013)
[2]=>
string(44) "Lost connection to MySQL server during query"
}

werde ich mal nachts machen, und den vzlogger killen


Gruss

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130421/9dcf6d7a/attachment-0001.html>

[sollner11]

nein ... geht nichts

eine Datenbank mit 4 Kan?len, Laufzeit ein Monat
er r?delt ne Weile
bei manchen Zeitpunkten ist es sehr z?h ... man sieht die minuten langsam an sich vorbeiziehen
dann h?ngt er an einzelnen Minuten fest ... steigt aus

macht man nochmal, geht er paar minuten weiter und steigt wieder aus

sollte man irgendwas ausschalten? (mysql, vzlohher usw.)

Gruss

Post by Bernd Gewehr
Hallo,

Post by Florian Knodt
EntityDefinition.json ist die richtige

ja, hatte es da gemacht

Post by Florian Knodt
Processing Sensor ID 4...
Compressing datapoints between 05.01.2013 18:14:54 and 19.03.2013 17:52:25 using a 60 second timeframe
Removed 3028791 Datapoints in 6013 Seconds.
Processing Sensor ID 6...
Compressing datapoints between 05.01.2013 18:14:54 and 19.03.2013 17:52:27 using a 60 second timeframe
Removed 2019882 Datapoints in 5202 Seconds.
Processing Sensor ID 7...
Compressing datapoints between 05.01.2013 18:41:50 and 19.03.2013 17:52:25 using a 60 second timeframe
Processing: 07.02.2013 02:15:50 - 07.02.2013 02:16:50 (44%)...

das ist der mit der alten (nicht aktiven) Installation

Post by Florian Knodt
root at raspberrypi:/var/www/volkszaehler.org/misc/tools# php vzcompress2.php
Processing Sensor ID 2...
Compressing datapoints between 21.03.2013 18:32:45 and 21.04.2013 00:30:58 using a 60 second timeframe
Processing: 29.03.2013 14:18:45 - 29.03.2013 14:19:45 (26%)... array(3) {
[0]=>
string(5) "HY000"
[1]=>
int(2013)
[2]=>
string(44) "Lost connection to MySQL server during query"
}

werde ich mal nachts machen, und den vzlogger killen
Gruss

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130423/408322cd/attachment.html>

[Florian Knodt]

Naend,

Post by sollner11
macht man nochmal, geht er paar minuten weiter und steigt wieder aus
sollte man irgendwas ausschalten? (mysql, vzlohher usw.)

[...]

Post by sollner11

Post by Florian Knodt
string(44) "Lost connection to MySQL server during query"

der Datenbankserver trennt laut Meldung die Verbindung. Sind
irgendwelche Query-Limits f?r den VZ-User gesetzt? Andernfalls kenne ich
das Ph?nomen nur von ?berlasteten oder defekten MySQL-Servern, letzeres
trat in letzter Zeit bei mir ?fter auf, irgendwie zerschie?en die
letzten Versionen bei mir auf mehreren Systemen die Datenbanken am
Flie?band - nach export/import ging es bei den meisten wieder.
Dummerweise hats meinen VZ auch gestern erwischt, dort wollte ich jetzt
in Einem auf MariaDB umsteigen, daher kann ich grade nicht gro? testen.
Sollte es doch ?berlastung sein hab ich jetzt mal eine Delay-Funktion
eingebaut um die Requests h?ndisch auszubremsen, unten mal mit
verschiedenen Werten testen.

[Thorben Thuermer]

On Tue, 23 Apr 2013 23:05:11 +0200

Post by Florian Knodt
Naend,

Post by sollner11
macht man nochmal, geht er paar minuten weiter und steigt wieder aus
sollte man irgendwas ausschalten? (mysql, vzlogger usw.)

[...]

Post by sollner11

Post by Florian Knodt
string(44) "Lost connection to MySQL server during query"

der Datenbankserver trennt laut Meldung die Verbindung.

hoechstwahrscheinlich weil der kernel wegen speichermangel den mysql-prozess
beendet, einfach mal: dmesg | grep Kill

- T.

[sollner11]

Hallo,

Post by Thorben Thuermer

Post by Florian Knodt
der Datenbankserver trennt laut Meldung die Verbindung.

hoechstwahrscheinlich weil der kernel wegen speichermangel den mysql-prozess

Ich habe ja keine Ahnung, allerdings konnts ich in TOP beobachten, wie ein Prozess nach oben kam
ich kann mich nicht genau erinnern, kswap, oder so?
nach google aber auf jeden Fall etwas, dass Speicher umsortiert, freimacht...keine Ahnung

Post by Thorben Thuermer
beendet, einfach mal: dmesg | grep Kill

also: dmesg | grep Kill ausf?hren und dann das script starten?

muss oder sollte man mysql und den logger anhalten?

Post by Thorben Thuermer
- T.

Gruss

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130424/3d34836f/attachment.html>

[Thorben Thuermer]

Post by sollner11

Post by Thorben Thuermer

Post by Florian Knodt
der Datenbankserver trennt laut Meldung die Verbindung.

hoechstwahrscheinlich weil der kernel wegen speichermangel den mysql-prozess

Ich habe ja keine Ahnung, allerdings konnts ich in TOP beobachten,
wie ein Prozess nach oben kam
ich kann mich nicht genau erinnern, kswap, oder so?
nach google aber auf jeden Fall etwas, dass Speicher umsortiert, freimacht...keine Ahnung

interessanter sind die angaben ueber den freien speicher,
hast du ueberhaupt eine swap partition/datei?
wobei das auf einem himbeerkuchen auch wenig hilft,
da der langsame zugriff auf eine sd-karte oder eine platte am usb das
problem nicht unbedingt loest.

Post by sollner11

Post by Thorben Thuermer
beendet, einfach mal: dmesg | grep Kill

also: dmesg | grep Kill ausf?hren und dann das script starten?

nein, das ausfuehren, nachdem der fehler aufgetreten ist,
das sucht (grep Killed) die entsprechende meldung aus dem kernel-log (dmesg).
(es koennte auch klappen, dass die meldung vom letzten versuch noch im log steht)
sieht dann zB so aus:
[21748986.774751] Killed process 4662 (firefox)

Post by sollner11
muss oder sollte man mysql und den logger anhalten?

du kannst mysql nicht anhalten, um vzcompress auszufuehren, weil vzcompress
ueber mysql auf die daten zugreift...!!!
vzlogger braucht nicht soviel resourcen, als dass es einen unterschied machen wuerde.

im zweifallsfall musst du (einmalig?) deine datenbank auf einen leistungsfaehigeren
rechner kopieren, um sie mit vzcompress zu bearbeiten.

- T.

[sollner11]

Post by Thorben Thuermer
dmesg | grep Kill

brachte leider nichts mehr


ich werde (wenn die sonne weg ist ;-) ) nochmal versuchen, um an die Fehlermeldungen zu kommen


was aber komisch ist:
auf dem Zweit-Raspi mit einer wesenlich gr??eren DB und nur 256 MB Ram lief es klaglos durch
(ohne das der Raspi die Opto-K?pfe dran hatte)


hier der screen:

Gruss

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130424/f726708c/attachment-0001.html>
-------------- next part --------------
A non-text attachment was scrubbed...
Name: 32alt_screen_vc2.png
Type: image/png
Size: 101070 bytes
Desc: not available
URL: <Loading Image...>

[sollner11]

hallo,

nochmaliger versuch:
aber zuerst mysqldump inkl. Fehlermeldungen
oot at raspberrypi:/home/pi/bin# ./mysql-backup
Sichere Datenbank volkszaehler in Datei /home/pi/backup/mysql/20130425_2033-mysqldump-volkszaehler.bz2
mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `data` at row: 1610089
-rw-r----- 1 root root 14M Apr 25 20:37 /home/pi/backup/mysql/20130425_2033-mysqldump-volkszaehler.bz2
root at raspberrypi:/home/pi/bin# ./mysql-backup
Sichere Datenbank volkszaehler in Datei /home/pi/backup/mysql/20130425_2037-mysqldump-volkszaehler.bz2
mysqldump: Got error: 2002: Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2) when trying to connect
-rw-r----- 1 root root 14 Apr 25 20:37 /home/pi/backup/mysql/20130425_2037-mysqldump-volkszaehler.bz2
root at raspberrypi:/home/pi/bin# dmesg | grep Kill
[188519.226013] Out of memory: Kill process 2521 (mysqld) score 617 or sacrifice child
[188519.226036] Killed process 2521 (mysqld) total-vm:327616kB, anon-rss:51932kB, file-rss:0kB
[190498.491819] Out of memory: Kill process 25926 (mysqld) score 615 or sacrifice child
[190498.491838] Killed process 25926 (mysqld) total-vm:326240kB, anon-rss:77008kB, file-rss:0kB


Fehler bei vzcompress2.php folgen

Gruss

Post by Thorben Thuermer
dmesg | grep Kill

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://volkszaehler.org/pipermail/volkszaehler-dev/attachments/20130425/202bbc1d/attachment.html>

[Thorben Thuermer]

On Thu, 25 Apr 2013 20:39:24 +0200

Post by sollner11
mysqldump: Error 2013: Lost connection to MySQL server during query
when dumping table `data` at row: 1610089
root at raspberrypi:/home/pi/bin# dmesg | grep Kill
[188519.226036] Killed process 2521 (mysqld) total-vm:327616kB,
anon-rss:51932kB, file-rss:0kB [190498.491819]
Fehler bei vzcompress2.php folgen

kannst du dir sparen.
du hast wie vermutet eindeutig zuwenig ram in deinem himbeerkuchen,
um diese datenbank zu bearbeiten.

wenn nichtmal mysqldump moeglich ist, ist das schon bedenklich.

eine moeglichkeit waehre noch, dass die tabelle beschaedigt ist (bei
den vielden kills kein wunder), mysql eine automatische reparatur
versucht,
und dafuer dann das ram nicht reicht.

in jedem fall bleibt dir nur,
entweder mehr ram freizuschaufeln, oder eine auslagerungsdatei
dazuzunehmen (wird aber langsam sein),
und/oder die datenbank (notfalls in binaerform wenn dumpen nicht
klappt) auf ein system mit mehr ram zu uebertragen und dort zu
verkleinern.

Post by sollner11
Gruss

- T.

Post by sollner11

Post by Thorben Thuermer
dmesg | grep Kill