Dsmr-reader: Missing mqtt values

[Martinvdm]

Let op: Het DSMR-reader project is gefocused op het uitlezen van de slimme meter en om die data met jou op zoveel mogelijk manieren te delen. Het inlezen van andere (externe) data in DSMR-reader valt buiten de scope van dit project.

Jouw omgeving

(Indien van toepassing)

• DSMR-reader versie (rechtsbovenin applicatie zichtbaar): v1.23
• Hardware (RaspberryPi 2, 3 of iets anders): Docker

• DSMR-protocol versie van slimme meter (v2, v4 of v5): v.2

Bug

Issue not getting all MQTT values. getting only

dsmr/reading/electricity_delivered_2 06163.036
dsmr/reading/electricity_delivered_1 08867.681
dsmr/reading/electricity_returned_2 07502.092

But should be a lot more as defined in:
MQTT: Telegram (per gesplitst topic)
whitch is enabled in configuration.
for examle: inncluding Gas, returned_1.
Was not before upgrade.

[koelkast88]

I do miss the following MQTT (geslitst topic):

Versie: v1.23
Docker on Ubuntu
DSMR v4
electricity_currently_delivered = dsmr/reading/electricity_currently_delivered
electricity_delivered_1 = dsmr/reading/electricity_delivered_1
electricity_delivered_2 = dsmr/reading/electricity_delivered_2

[dennissiemensma]

Bedankt voor jullie melding. Bedoelen jullie MQTT: Telegram (per split topic)? (er zijn meerdere split-topics).

• Wellicht willen jullie even in de broker-instellingen (MQTT: Broker/connection configuration), onderaan de pagina, de checkbox Enable debug logging aanzetten.
• En dan kijken of jullie meer informatie zien in de logfile /var/log/supervisor/dsmr_mqtt.log. Wanneer ik het lokaal probeer, zie ik onderstaande berichten en lijkt het goed. Wat zien jullie?

Als ik dit instel:

[mapping]
electricity_delivered_1 = dsmr/telegram/electricity_delivered_1
electricity_returned_1 = dsmr/telegram/electricity_returned_1
electricity_currently_delivered = dsmr/telegram/electricity_currently_delivered

Lijkt die dit te doen (formaat wat aangepast):

MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m157), 
'b'dsmr/telegram/electricity_currently_delivered'', ... (6 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 157

MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m158), 
'b'dsmr/telegram/electricity_returned_1'', ... (10 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 158

MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m159), 
'b'dsmr/telegram/electricity_delivered_1'', ... (10 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 159

Sleeping 1 sec(s)

En ik zie ze ook met een client die de broker uitleest:

mosquitto_sub -t 'dsmr/telegram/electricity_currently_delivered'

# Nep-data
02.248
03.145
00.000
00.000

Idem voor gas (extra_device_delivered = dsmr/telegram/extra_device_delivered bij mij).

[dennissiemensma]

Kan het zijn dat bovenin de config het woordje [mapping] mist? Ik zie dat dat ook iets stuk kan maken.

Jullie kunnen nog proberen om je huidige config even in een kladblokje te bewaren. En vervolgens het blok met de default-instellingen op de MQTT: Telegram (per split topic) configuration pagina te gebruiken om te kijken of dat iets verandert?

Ik hoor graag. Het is vast iets heel kleins wat ik over het hoofd zie, waardoor ik het hier niet zo snel even kan reproduceren.

[Martinvdm]

Correct. gebruik "MQTT: Telegram (per gesplitst topic)" zoals in de preview in configuration staat aangegeven zou dit :

[mapping]
id = dsmr/reading/id
timestamp = dsmr/reading/timestamp
electricity_delivered_1 = dsmr/reading/electricity_delivered_1
electricity_returned_1 = dsmr/reading/electricity_returned_1
electricity_delivered_2 = dsmr/reading/electricity_delivered_2
electricity_returned_2 = dsmr/reading/electricity_returned_2
electricity_currently_delivered = dsmr/reading/electricity_currently_delivered
electricity_currently_returned = dsmr/reading/electricity_currently_returned
phase_currently_delivered_l1 = dsmr/reading/phase_currently_delivered_l1
phase_currently_delivered_l2 = dsmr/reading/phase_currently_delivered_l2
phase_currently_delivered_l3 = dsmr/reading/phase_currently_delivered_l3
phase_currently_returned_l1 = dsmr/reading/phase_currently_returned_l1
phase_currently_returned_l2 = dsmr/reading/phase_currently_returned_l2
phase_currently_returned_l3 = dsmr/reading/phase_currently_returned_l3
extra_device_timestamp = dsmr/reading/extra_device_timestamp
extra_device_delivered = dsmr/reading/extra_device_delivered

Echter krijg ik veel minder in MQTT voorbij.

ik zie met " mosquitto_sub -v -t "#" alles wel voorbij komen echter voor dsmr maar 3 regels.
waar vind ik die debug logging? of kijk ik er over heen?

[dennissiemensma]

Het staat in op de pagina waar je de broker instelt, dus de hostname, poort, optioneel SSL en credentials.

[Martinvdm]

in dsmr_mqtt-stdout---supervisor-PHSIT4.log

Sleeping  sec(s)

MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m10), 'b'dsmr/reading/electricity_delivered_2'', ... (9 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 10
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m11), 'b'dsmr/reading/electricity_delivered_1'', ... (9 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 11
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m12), 'b'dsmr/reading/electricity_returned_2'', ... (9 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 12
Sleeping 1 sec(s)

ook slechts 3 waardes

[Martinvdm]

@koelkast88 gebruik jij ook docker?

[dennissiemensma]

Bedankt voor je input. Ik heb net de configuratie, die je hierboven hebt geplakt, geprobeerd en dan krijg ik (zoals verwacht) meer dan 3 topics te zien.

Gezien jullie beiden op Docker draaien zou dat een reden kunnen zijn, al zie ik niet hoe dat uit zou moeten maken. Degene die destijds in #417 getest heeft, draait volgens mij ook Docker. Maar die heb ik er nog niet over gehoord.

Wat ik nog kan doen is een aftakking maken waarbij er wat meer debugging geprint wordt in de logs waar de metingen binnenkomen.

• Gebruik je gewoon de ingebouwde dsmr_datalogger of voer je metingen in via de API?

[Martinvdm]

nee gebruik de ingebouwde data logger. ik zie ook niet in waarom docker zou uitmaken, immers publish je naar mqtt. het is echter wel vreemd dat ik nu na de upgrade maar 3 waardes krijg en mis ik dus de rest. ook mosquitto ziet ze niet, dus worden echt ook niet gepublished. wellicht kan @koelkast88 nog wat zinnigs zeggen.

[Martinvdm]

als ik overigens "onbewerkte string - raw" aanzet krijg ik het volgende in mosquitto:

dsmr/raw /XMX5XMXABCE100091062

0-0:96.1.1(4B414145303031343034313732363133)
1-0:1.8.1(08867.807*kWh)
1-0:1.8.2(06163.628*kWh)
1-0:2.8.1(02926.730*kWh)
1-0:2.8.2(07502.092*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.57*kW)
1-0:2.7.0(0000.00*kW)
0-0:96.13.1()
0-0:96.13.0()
0-1:96.1.0(3238303131303038333134323639363133)
0-1:24.1.0(03)
0-1:24.3.0(180807230000)(08)(60)(1)(0-1:24.2.0)(m3)
(06794.334)
!

hier zit wel alles in volgens mij

[dennissiemensma]

Ik heb een branch gemaakt met wat extra prints. Deze zouden zichtbaar moeten zijn in de datalogger, omdat die de metingen aanmaakt (en die de berichten voor MQTT dan aanmaakt).

sudo su - dsmr
git fetch
git checkout -b 515-missing-mqtt-debugging origin/515-missing-mqtt-debugging
./deploy.sh

Zoiets zou je dan moeten zien in de dsmr_datalogger er tussendoor:

0-1:24.2.1(180807230000W)(01704.092*m3)
!783C
[MQTT] Start of publish_split_topic_dsmr_reading()
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_currently_returned -> 02.584
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_delivered_1 -> 005683.374
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/id -> 8134478
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_returned_l2 -> 01.102
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/extra_device_timestamp -> 2018-08-08T14:00:00Z
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_returned_2 -> 000000.000
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_returned_l3 -> 00.150
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/timestamp -> 2018-08-08T14:17:54Z
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/extra_device_delivered -> 01705.013
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_currently_delivered -> 00.000
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_delivered_l2 -> 00.000
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_delivered_l1 -> 00.000
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_delivered_2 -> 003410.025
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_returned_l1 -> 01.332
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_delivered_l3 -> 00.000
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_returned_1 -> 000000.000
[MQTT] End of publish_split_topic_dsmr_reading()
Sleeping 1 sec(s)

Terug:

sudo su - dsmr
git checkout master
./deploy.sh

[Martinvdm]

ik zal als ik tijd hebt (lastig :) ) eens kijken. json en raw string doen het iig wel.

[dennissiemensma]

• Als je ze daar wel allemaal ziet, dan zit er ergens een fout in het mechanisme van het publiceren.
• Als je ze daar niet allemaal ziet (dus max 3 verschillende), dan zit er een fout in het triggeren van de berichten.

Ik kan het niet te laat maken, dus ik lees het morgenavond wel als jullie iets wijzer zijn geworden. Als jullie nu echt veel data missen, dan zouden jullie t.z.t. nog terug kunnen naar de vorige release.

[Martinvdm]

yep, zoals gezegd, json en raw zie ik ze wel, zie eerdere logging.
json:

dsmr/json {"electricity_returned_2": "07502.092", "electricity_delivered_1": "08867.831", "electricity_delivered_2": "06163.628", "phase_currently_delivered_l3": null, "electricity_currently_returned": "0000.00", "id": 276563, "electricity_returned_1": "02926.730", "phase_currently_delivered_l2": null, "phase_currently_delivered_l1": null, "extra_device_timestamp": "2018-08-07T21:00:00Z", "timestamp": "2018-08-07T21:15:58.856Z", "extra_device_delivered": "06794.334", "electricity_currently_delivered": "0000.57"}

gesplits topic is dit de output:

dsmr/reading/electricity_delivered_2 06163.628
dsmr/reading/electricity_delivered_1 08867.831
dsmr/reading/electricity_returned_2 07502.092

[dennissiemensma]

Ik ben niet helemaal duidelijk geweest. Ik doelde eigenlijk op de output in de datalogger logs, n.a.v. dit comment.

[Baseje]

Ik mis inderdaad ook veel items waaronder;
dsmr/reading/electricity_currently_delivered

[dennissiemensma]

@Baseje bedankt voor je melding. Draai je toevallig ook op Docker?

[dennissiemensma]

Als je overigens in de gelegenheid bent om wat dieper te debuggen, dat kan op deze manier.

[Baseje]

Ja, draai op docker.
Zal straks debuggen en de logs delen!

[koelkast88]

Beste @dennissiemensma , ik zie geen kans om nu te debuggen helaas. Even aandacht voor andere dingen nodig, dan moet ik er mega in gaan duiken (ben lerende). Hopelijk komen jullie eruit! 👍

[Baseje]

Waar kan ik de logs vinden in de container?
Enig idee?

[dennissiemensma]

Mijn kennis van Docker is ook helaas zeer beperkt. Ik zou verwachten dat de datalogger logs op de standaard plek in /var/log/supervisor/ staan.

En anders kan wellicht @ualex73 jullie bijstaan. Die heeft veel meer ervaring met de Docker setup en hoe het werkt.

[ualex73]

Yups, in Docker is het dezelfde lokatie "/var/log/supervisor".

Om in de Docker container te gaan, gebruik ik het volgende commando:
docker exec -it dsmr /bin/bash

Dan (filename kan anders zijn natuurlijk):
tail -f dsmr_mqtt-stdout---supervisor-55iZtV.log

Met debug aan, ik zie het als volgt:

MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m259), 'b'dsmr/meter-stats/rejected_telegrams'', ... (3 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 259
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m260), 'b'dsmr/meter-stats/electricity_tariff'', ... (1 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 260
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m261), 'b'dsmr/day-totals'', ... (97 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 261
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m262), 'b'dsmr/reading/electricity_currently_returned'', ... (6 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 262
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m263), 'b'dsmr/reading/electricity_delivered_1'', ... (10 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 263
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m264), 'b'dsmr/reading/phase_currently_delivered_l2'', ... (6 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 264
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m265), 'b'dsmr/reading/phase_currently_delivered_l3'', ... (6 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 265
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m266), 'b'dsmr/reading/electricity_delivered_2'', ... (10 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 266
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m267), 'b'dsmr/reading/electricity_returned_2'', ... (10 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 267
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m268), 'b'dsmr/reading/electricity_currently_delivered'', ... (6 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 268
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m269), 'b'dsmr/reading/extra_device_timestamp'', ... (20 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 269
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m270), 'b'dsmr/reading/id'', ... (8 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 270
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m271), 'b'dsmr/reading/timestamp'', ... (20 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 271
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m272), 'b'dsmr/reading/extra_device_delivered'', ... (9 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 272
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m273), 'b'dsmr/reading/phase_currently_delivered_l1'', ... (6 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 273
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m274), 'b'dsmr/reading/electricity_returned_1'', ... (10 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 274
MQTT | Paho client: on_log(userdata, level, buf) None 16 Sending PUBLISH (d0, q0, r0, m275), 'b'dsmr/telegram'', ... (384 bytes)
MQTT | Paho client: on_publish(userdata, mid) None 275
Sleeping 1 sec(s)

Dus alles lijkt bij mij goed te zijn ...

BTW: ik draai wel mijn eigen docker image: https://hub.docker.com/r/ualex73/dsmr-reader-docker/

[dennissiemensma]

Fijn, bedankt voor je toelichting en uitproberen!

[dennissiemensma]

In dat geval heb ik zelf geen clue waar dit in kan zitten. Er is wel duidelijk iets aan de hand, maar ik kan het niet reproduceren en het komt blijkbaar ook weer niet bij iedereen voor... :/

Het enige wat ik helaas kan doen is wachten op jullie debug-output van deze branch.

[Martinvdm]

ik probeer je debugging:
bij .deploy gaat het fout.

root@b0dec4677ccc:/home/dsmr/app# sudo su - dsmr
dsmr@b0dec4677ccc:~/app$ git fetch
remote: Counting objects: 12, done.
remote: Compressing objects: 100% (12/12), done.
remote: Total 12 (delta 4), reused 8 (delta 0), pack-reused 0
Unpacking objects: 100% (12/12), done.
From https://github.com/dennissiemensma/dsmr-reader
 * [new branch]      515-missing-mqtt-debugging -> origin/515-missing-mqtt-debugging
dsmr@b0dec4677ccc:~/app$ git checkout -b 515-missing-mqtt-debugging origin/515-missing-mqtt-debugging
D       dsmrreader/provisioning/django/postgresql.py
D       dsmrreader/provisioning/nginx/dsmr-webinterface
Previous HEAD position was ec983aa... Fixed invalid FAQ link in changelog.
Branch 515-missing-mqtt-debugging set up to track remote branch 515-missing-mqtt-debugging from origin.
Switched to a new branch '515-missing-mqtt-debugging'
dsmr@b0dec4677ccc:~/app$ ./deploy.sh


 --- You are currently running version:
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "dsmrreader/__init__.py", line 17, in <module>
    from django.utils.version import get_version
ImportError: No module named django.utils.version

     [!] FAILED to call Django (did you activate the 'dsmrreader' VirtualEnv before running?)

[!] Halted in pre-deployment: Either user ABORTED or script FAILED

[dennissiemensma]

Je zult de virtualenv moeten activeren. Bij de installatie is dat onderdeel van de .bashrc van de dsmr user, zodat dat automatisch gaat.

Handmatig is het:

sudo su - dsmr
source ~/.virtualenvs/dsmrreader/bin/activate

...

[Martinvdm]

Dit wekt helaas niet in een docker container. vermoedelijk wordt daar geen virtualenv gebruikt

[ualex73]

Anders kan je mijn dockers lokaal hercompileren.

Haal Docker files op:
git clone https://github.com/ualex73/dsmr-reader-docker.git

Verander in 'Dockerfile' de volgende regels:
ARG TAG="v1.23.0"
#ARG TAG="-b development origin/development"
In:
#ARG TAG="v1.23.0"
ARG TAG="-b 515-missing-mqtt-debugging origin/515-missing-mqtt-debugging"

En run dan:
docker build -t ualex73/dsmr-reader-docker:test .

Dan heb je een nieuw image met deze specfieke branch ;-)

[Martinvdm]

i am using Xirixiz docker image. I don't want to break my dsmr setup. i think my debugging will stop here as i don't have the knowledge changing all those things.

[ualex73]

My docker is a fork of Xirixiz, so it should be a drop in place (i only changed the image name when I switched). I forked it, because then I am faster with updates 😜

[Martinvdm]

ok, though i am using docker-compose, i am not familiair with those git an docker commands

[ualex73]

If you run the steps, you will have a new test image ... From there on - you can use docker-compose again :+1:

[Baseje]

HIERSTONDEENLINK
Hier is de volledige log,
Download hem maar, kan ik hem daarna verwijderen.

Weet niet wat er precies instaat 👍

[dennissiemensma]

@Baseje bedankt, je kunt het verwijderen hoor.

Echter staat hier niet de debugging in die ik zoek, het moet het process zijn dat het triggert, in de meeste gevallen is dat de dsmr_datalogger. Ben je in de gelegenheid om die te delen? Die zou in dezelfde map moeten staan.

De regels die ik zoek zijn degene uit dit comment. Ik hoef niet de complete log, de laatste paar honderd regels zijn prima.
Je mag dat deel eventueel mailen naar github @ dennissiemensma.nl, dan staan de gegevens ook niet publiekelijk op Github.

[jhoekstra]

Hi Dennis,

I have the same problem, using the program directly on a nuc with debian 9. I've checked out the debug version above and enabled debugging on mqtt.
dsmr_datalogger.log
I've attached a snippet of the dsmr_datalogger and dsmr_mqtt logfiles for roughly 10 seconds length each. I notice that the dsmr/reading/electricity_currently_delivered is not in both the datalogger and mqtt log.

That's probably the hint you're looking for?

[dennissiemensma]

@jhoekstra bedankt! Klopt het dat je in de logs geen End of publish_split_topic_dsmr_reading() tegenkomt? Die mis ik nog.

Ik heb nu nog wat extra debugging toegevoegd om verder te zoomen op de plek waar het mogelijk mis gaat. Wil je de branch lokaal bijwerken en dan nog een snippet van (alleen) de datalogger plakken?

Dit zou afdoende moeten zijn en er zou dan meer debugging moeten komen:

sudo su - dsmr
./deploy.sh

Als het goed is staat er dan iets als Checking k: soms, of (waar ik benieuwd naar ben), (!) k NOT in topic_mapping.

[jhoekstra]

Hi Dennis,

I've updated and took a look again and now I do see the dsmr/reading/electricity_currently_delivered being pushed to mqtt.

dsmr_datalogger.log

I see I need to add the phase_currently_returned_l[1-3] to the mqtt mapping.

Backstory: I'm using this in my domotica to provide a dashboard where current house-usage is shown.

[dennissiemensma]

@jhoekstra thanks!

Was the log captured before you did any changes to the configuration? Because the (missing) L1-L3 values, are just the phases and should not affect the missing electricity_currently_delivered field.

In the log it already seems okay, but I'm not sure whether you've changed anything before capturing it:

[MQTT] Queue debug   | publish_split_topic_dsmr_reading(): Checking k: electricity_currently_delivered
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_currently_delivered -> 00.160

You can try going back to the master version to see if things still work now:

sudo su - dsmr
git checkout master
./deploy.sh

[jhoekstra]

Hi Dennis,

I haven't changed configuration to make electricity_currently_delivered work, only the change you committed yesterday was pulled in by ./deploy.sh.
I tried reverting to master, the electricity_currently_delivered wasn't pushed to mqtt anymore. Going to the beta the values came back in mosquitto.

The L1-L3 values were just an observation of values not being pushed to mqtt yet which still need to be mapped, I just added these to "Telegram (per split topic) configuration" successfully.
Now after switching back to master the electricity_currently_delivered still works, might it have to do with updating the mappingfile which overrides the default values?

[dennissiemensma]

@jhoekstra thanks for trying and sharing. I don't see how the branch could have fixed anything, as it only adds print statements, but it's good to hear things are working fine for you now.

[dennissiemensma]

@Baseje ik ben nog benieuwd naar dit verhaal.

Verder zou je nog kunnen kijken of het toevoegen van deze waarden iets oplost, als ik het verhaal van jhoekstra hierboven zo lees:

phase_currently_delivered_l1 = dsmr/reading/phase_currently_delivered_l1
phase_currently_delivered_l2 = dsmr/reading/phase_currently_delivered_l2
phase_currently_delivered_l3 = dsmr/reading/phase_currently_delivered_l3
phase_currently_returned_l1 = dsmr/reading/phase_currently_returned_l1
phase_currently_returned_l2 = dsmr/reading/phase_currently_returned_l2
phase_currently_returned_l3 = dsmr/reading/phase_currently_returned_l3

[Baseje]

Waar zou ik dat moeten invullen?
En moet ik die deploy.sh dan nog doen?

[dennissiemensma]

• Je kunt de waarden invullen bij MQTT: Telegram (per split topic) configuration (als ze nog niet bestaan). De relatieve URL in de applicatie is: /admin/dsmr_mqtt/splittopictelegrammqttsettings/.

• Voor de extra debugging kun je inderdaad weer gewoon ./deploy.sh uitvoeren. Deze werkt de code binnen de branch bij naar de laatste versie én herlaadt de applicatie. Vervolgens zou je in de log van dsmr_datalogger de debugging moeten zien.

[Baseje]

Voordat ik iets aanpas staat het standaard zo;

[mapping]
# READING FIELD = TOPIC PATH
id = dsmr/reading/id
timestamp = dsmr/reading/timestamp
electricity_delivered_1 = dsmr/reading/electricity_delivered_1
electricity_returned_1 = dsmr/reading/electricity_returned_1
electricity_delivered_2 = dsmr/reading/electricity_delivered_2
electricity_returned_2 = dsmr/reading/electricity_returned_2
electricity_currently_delivered = dsmr/reading/electricity_currently_delivered
electricity_currently_returned = dsmr/reading/electricity_currently_returned
phase_currently_delivered_l1 = dsmr/reading/phase_currently_delivered_l1
phase_currently_delivered_l2 = dsmr/reading/phase_currently_delivered_l2
phase_currently_delivered_l3 = dsmr/reading/phase_currently_delivered_l3
extra_device_timestamp = dsmr/reading/extra_device_timestamp
extra_device_delivered = dsmr/reading/extra_device_delivered

Hier mis je dus;

phase_currently_returned_l1 = dsmr/reading/phase_currently_returned_l1
phase_currently_returned_l2 = dsmr/reading/phase_currently_returned_l2
phase_currently_returned_l3 = dsmr/reading/phase_currently_returned_l3

Als ik vervolgens de deploy.sh probeer te starten krijg ik;

--- You are currently running version:
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "dsmrreader/__init__.py", line 17, in <module>
    from django.utils.version import get_version
ImportError: No module named django.utils.version

     [!] FAILED to call Django (did you activate the 'dsmrreader' VirtualEnv before running?)

[!] Halted in pre-deployment: Either user ABORTED or script FAILED

Zal wel iets gigantisch verkeerd doen haha

[dennissiemensma]

Oke, in dat geval eerst maar proberen of het toevoegen van die drie regels het oplost. Wil je eens:

• Die regels toevoegen
• Vervolgens handmatig de applicatie herstarten: sudo supervisorctl restart all (kan eventjes duren)
• Kijken of dat iets verandert aan de missende waardes?

[Baseje]

deploy.sh is me nog niet gelukt tot heden...

[Uniwatcher]

I have installed DSRM reader directly via the fast method on a Raspberri Pi3. Not via docker. I'm able to read the values from the day-consumption topic (Day consumption (per split topic config). But listening on the reading topic doesn't give me any values (Telegram (per split topic) configuration). I have enabled debug logging.

[Uniwatcher]

This is my dsmr_mqtt.log. MQTT broker is configured correctly. I have a hostname. I get the values of the "day-consumption" topic so that's correct

dsmr_backend.mixins.StopInfiniteRun MQTT | No hostname found in settings, restarting in a minute... Traceback (most recent call last): File "/home/dsmr/dsmr-reader/manage.py", line 10, in <module> execute_from_command_line(sys.argv) File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/__init_$ utility.execute() File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/__init_$ self.fetch_command(subcommand).run_from_argv(self.argv) File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/base.py$ self.execute(*args, **cmd_options) File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/base.py$ output = self.handle(*args, **options) File "/home/dsmr/dsmr-reader/dsmr_backend/mixins.py", line 35, in handle self.data = self.initialize() File "/home/dsmr/dsmr-reader/dsmr_mqtt/management/commands/dsmr_mqtt.py", line 20, in initialize self.mqtt_client = dsmr_mqtt.services.broker.initialize() File "/home/dsmr/dsmr-reader/dsmr_mqtt/services/broker.py", line 19, in initialize MQTT | No hostname found in settings, restarting in a minute... Traceback (most recent call last): File "/home/dsmr/dsmr-reader/manage.py", line 10, in <module> execute_from_command_line(sys.argv) File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/__init_$ utility.execute() File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/__init_$ self.fetch_command(subcommand).run_from_argv(self.argv) File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/base.py$ self.execute(*args, **cmd_options) File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/base.py$ output = self.handle(*args, **options) File "/home/dsmr/dsmr-reader/dsmr_backend/mixins.py", line 35, in handle self.data = self.initialize() File "/home/dsmr/dsmr-reader/dsmr_mqtt/management/commands/dsmr_mqtt.py", line 20, in initialize self.mqtt_client = dsmr_mqtt.services.broker.initialize() File "/home/dsmr/dsmr-reader/dsmr_mqtt/services/broker.py", line 19, in initialize raise StopInfiniteRun()

[Baseje]

Blijf de melding krijgen bij het aftrappen van de deploy.sh.

--- You are currently running version:
Traceback (most recent call last):
File "", line 1, in
File "dsmrreader/__init__.py", line 17, in
from django.utils.version import get_version
ImportError: No module named django.utils.version

 [!] FAILED to call Django (did you activate the 'dsmrreader' VirtualEnv before running?)

[!] Halted in pre-deployment: Either user ABORTED or script FAILED

Wanneer verwacht je dit verwerkt te hebben in een nieuwe versie, kan ik namelijk simpel mijn container rebuilden met de nieuwste image waarmee het is opgelost.

[snoekieboe]

Ik ervaar exact dezelfde issues met DSMR reader 1.23 op een Raspberry pi 3 ( geen docker). Het gedrag is zeer wisselvallig. Soms werkt het rapporteren van de verschillende mqtt berichten (telegram uitgesplits per topic) maar soms stopt het er ook vanzelf weer mee. De enige waardes die dan nog worden gerapporteerd is " Voltage sag count". alle andere topics blijven dan stil........ herstarten van de applicatie of de gehele RPI maakt geen verschil. ook het aanpassen/opnieuw configureren van de MQTT settings maakt geen verschil.

[snoekieboe]

After running ./deploy.sh once more... the following commits were pulled:

rom https://github.com/dennissiemensma/dsmr-reader

• [new branch] 467-pvoutput-upload-sync -> origin/467-pvoutput-upload-sync
• [new branch] 514-archive-compare-pages-in-echarts -> origin/514-archive-compare-pages-in-echarts
• [new branch] 515-missing-mqtt-debugging -> origin/515-missing-mqtt-debugging
  14484ea..8403567 development -> origin/development

This now seems to have restored all MQTT topics and they are updating just fine.......

[Martinvdm]

reacreated the dsmr container (i am using docker). now i am missing more values then before. only value i get in mosquitto is:
dsmr/reading/electricity_delivered_2 06198.663

tried to revert to version 1.22.1 but django errors are orruring. recreated 1.23.0 again, still only 1 topic now.

[dennissiemensma]

Bedankt voor jullie reacties. Ik ben momenteel niet in de gelegenheid om inhoudelijk iets te doen, dus ik kom daar eind deze week op terug.

[dennissiemensma]

Ik ben inmiddels terug van vakantie. Alvast even een korte reactie.

Willen jullie proberen of het ophogen van DSMRREADER_MQTT_MAX_MESSAGES_IN_QUEUE in de settings.py iets verandert aan de situatie?

Dat gaat als volgt:

sudo su - dsmr
vi dsmrreader/settings.py

• Onderaan de geopende file deze regel toevoegen, als die nog niet in de file staat (standaard staat die er niet en is de waarde 100):

DSMRREADER_MQTT_MAX_MESSAGES_IN_QUEUE = 1000

• Tot slot het dsmr_mqtt proces herstarten

# Terug naar root of pi user
CTRL + D 

sudo supervisorctl restart dsmr_mqtt

Ik hoor graag of dat iets verandert aan de situatie. Zo nee, dan is er weer een oorzaak uitgesloten.

[dennissiemensma]

Waarschijnlijk kan ik overigens vanavond even wat inhoudelijker reageren, want er staan inmiddels wat diverse comments.

[dennissiemensma]

@Baseje, @Martinvdm, @Uniwatcher

Willen jullie bovenstaande nog even proberen met DSMRREADER_MQTT_MAX_MESSAGES_IN_QUEUE? Het maakt niet uit of je v1.23 of de debugging-branch draait.

---

@Baseje je kunt die missende configuratie uit je comment gewoon toevoegen en dan het dsmr_mqtt proces herstarten om te kijken of het helpt:

phase_currently_returned_l1 = dsmr/reading/phase_currently_returned_l1
phase_currently_returned_l2 = dsmr/reading/phase_currently_returned_l2
phase_currently_returned_l3 = dsmr/reading/phase_currently_returned_l3

---

@snoekieboe bedankt voor je melding. Ik begrijp dus dat het inmiddels (zomaar) is opgelost?

[snoekieboe]

Het leek inderdaad "zomaar" opgelost maar gisteren zijn de MQTT berichten weer " zomaar" gestopt.
Het is niet zo dat er helemaal geen MQTT berichten meer verzonden worden, maar de actuele gebruiksstatistieken komen nog maar eens per paar minuten binnen.

Ik heb nu de MQTT message queue op 1000 gezet en het MQTT proces herstart....
Resultaat:

• Eerst een ware stortvloed aan MQTT berichten
• Een paar minuten niets
• nu stabiel iedere seconden een update m.b.t. het actueel verbruik

Ik kijk het weer even aan en laat het weten

[Martinvdm]

Hoi Dennis, ik heb DSMRREADER_MQTT_MAX_MESSAGES_IN_QUEUE op 1000 gezet en en reboot gegeven. supervisorctl zit er bij docker niet in.
Waar ik eerst nog slechts 1 enkele gesplitst topic doorkreeg: dsmr/reading/electricity_delivered_2 krijg ik er nu geen enkele meer.
Overigens blijft het vreemd dat de Day_Totals wel doorkomen. ook uit en aanzetten van gesplitst topic maakt geen verschil.

[dennissiemensma]

@Martinvdm welke versie draai je momenteel? v1.23 of v1.23.1b1?

Het deployen van de applicatie lukte je eerder niet, maar als de checkout wel gelukt is, zou die na een herstart in ieder geval de debug-code moeten draaien.

[Martinvdm]

draai v1.23

[Martinvdm]

klopt idd. heb nogmaals even je git 515-missing-mqtt-debugging gedraaid, zonder deploy en dan een reboot. draai nu 1.23.1b1.
edit: na de reboot heb ik 2 topics:
dsmr/reading/electricity_currently_delivered 0000.16
dsmr/reading/electricity_returned_2 07563.931
nog niet allemaal maar iig weer 2

[dennissiemensma]

Top. De branch lost als het goed is geen enkel issue op (al lijkt dat voor sommigen wel zo). Het is exact dezelfde versie als v1.23 maar dan met wat debug prints in de dsmr_datalogger logs.

Wil je eens kijken wat je ziet in de dsmr_datalogger logs? Als het goed is staat er debugging over hoe de applicatie bepaalt welke waarden wel en niet naar MQTT gaan. Voorbeeld hier. Ik ben heel benieuwd naar hoe de applicatie bij jou bepaalt wat wel/niet naar MQTT gaat.

[Martinvdm]

E voila:

Sleeping 0.5 sec(s)

/XMX5XMXABCE100091062

0-0:96.1.1(4B414145303031343034313732363133)
1-0:1.8.1(08953.194*kWh)
1-0:1.8.2(06211.509*kWh)
1-0:2.8.1(02950.884*kWh)
1-0:2.8.2(07563.931*kWh)
0-0:96.14.0(0001)
1-0:1.7.0(0000.17*kW)
1-0:2.7.0(0000.00*kW)
0-0:96.13.1()
0-0:96.13.0()
0-1:96.1.0(3238303131303038333134323639363133)
0-1:24.1.0(03)
0-1:24.3.0(180825160000)(08)(60)(1)(0-1:24.2.0)(m3)
(06803.085)
!
[MQTT] Start of publish_split_topic_dsmr_reading()
[MQTT] Queue debug   | publish_split_topic_dsmr_reading(): Checking k: electricity_returned_2
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_returned_2 -> 07563.931
[MQTT] Queue debug   | publish_split_topic_dsmr_reading(): Checking k: electricity_currently_delivered
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_currently_delivered -> 0000.17
[MQTT] Queue debug   | publish_split_topic_dsmr_reading(): Checking k: phase_currently_delivered_l2
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_delivered_l2 -> None
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_returned_2 -> 0.19650
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_delivered_1 -> 0.18260
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_returned_1 -> 0.18260
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_delivered_2 -> 0.19650
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/total_cost -> 0.70
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity1_returned -> 3.212
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_gas -> 0.59690
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity2_cost -> 0.00
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity1 -> 6.571
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity1_cost -> 0.62
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity2 -> 0.000
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity2_returned -> 0.000
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity_cost_merged -> 0.62
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity_merged -> 6.571
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/gas -> 0.130
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity_returned_merged -> 3.212
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/gas_cost -> 0.08
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/electricity_currently_delivered -> 0000.17
[MQTT] Queue debug   | publish_split_topic_dsmr_reading(): Checking k: phase_currently_delivered_l2
[MQTT] Queue message | publish_split_topic_dsmr_reading(): dsmr/reading/phase_currently_delivered_l2 -> None
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_returned_2 -> 0.19650
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_delivered_1 -> 0.18260
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_returned_1 -> 0.18260
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_electricity_delivered_2 -> 0.19650
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/total_cost -> 0.70
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity1_returned -> 3.212
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/energy_supplier_price_gas -> 0.59690
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity2_cost -> 0.00
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity1 -> 6.571
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity1_cost -> 0.62
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity2 -> 0.000
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity2_returned -> 0.000
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity_cost_merged -> 0.62
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity_merged -> 6.571
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/gas -> 0.130
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/electricity_returned_merged -> 3.212
[MQTT] Queue message | day_totals_per_topic(): dsmr/day-totals/gas_cost -> 0.08
Sleeping 0.5 sec(s)

[Martinvdm]

Ik ben erachter!
zodra ik in de gesplitst topic config de volgende velden eruit haal middels # dan werkt het weer!

#phase_currently_delivered_l1 = dsmr/reading/phase_currently_delivered_l1
#phase_currently_delivered_l2 = dsmr/reading/phase_currently_delivered_l2
#phase_currently_delivered_l3 = dsmr/reading/phase_currently_delivered_l3

Ik krijg na de aanpassing weer netjes:

dsmr/reading/electricity_delivered_1 08953.248
dsmr/reading/id 429385
dsmr/reading/extra_device_timestamp 2018-08-25T14:00:00Z
dsmr/reading/extra_device_delivered 06803.085
dsmr/reading/electricity_delivered_2 06211.509
dsmr/reading/timestamp 2018-08-25T14:36:06.196Z
dsmr/reading/electricity_currently_returned 0000.00
dsmr/reading/electricity_returned_1 02950.893
dsmr/reading/electricity_currently_delivered 0000.20
dsmr/reading/electricity_returned_2 07563.931

terug erin (# eruit) en ik krijg weer alleen:
dsmr/reading/electricity_currently_delivered 0000.46
dsmr/reading/electricity_returned_2 07563.931

Edit: ik heb ook geen 3-fasen

[dennissiemensma]

Thanks! Dan zit de oorzaak waaarschijnlijk daar in. Erg bedankt voor de hulp!

Ik heb nu even geen tijd meer, maar ik zal er zeker dieper in duiken later. Anderen die hier last van hebben en geen 3-fasen hebben, kunnen wellicht tot die tijd het even zelf proberen of bovenstaande fix het oplost.

[dennissiemensma]

@Martinvdm heel erg bedankt, want volgens mij heb ik de oorzaak nu gevonden. Het lijkt erop dat ik de fout afving, maar niet printte in de log van de datalogger, maar in logs/dsmrreader.log. En die log was ik vergeten om te laten bekijken.

Wil je eens kijken of er bij jou nog foutmeldingen staan in: logs/dsmrreader.log?

Ik verwacht dat je dit soort fouten tegenkomt:

ERROR @ apps | publish_split_topic_dsmr_reading() failed: null value in column "payload" violates not-null constraint
DETAIL:  Failing row contains (303385, dsmr/reading/phase_currently_returned_l3, null).

[dennissiemensma]

@Baseje @koelkast88 @snoekieboe @Uniwatcher kan het zijn dat jullie ook allemaal een 1-fase aanlsuiting hebben in huis, ipv 3-fasen? Of dat jullie geen zonnepanelen (teruglevering) hebben.

Het lijkt te komen door een verkeerde afhandeling van de applicatie bij lege waardes. En dit komt voor wanneer een of meerdere van deze topics zijn ingeschakeld en die data niet beschikbaar is:

phase_currently_delivered_l3
phase_currently_returned_l2
phase_currently_returned_l3

Ik heb er een fix voor, maar ik wil graag zeker weten dat dit overeenkomt.

Daarnaast zouden jullie in logs/dsmrreader.log fouten moeten zien in de trend van null value in column "payload".

[snoekieboe]

Ik heb een 3 fase meter.....

[dennissiemensma]

Bedankt voor de info. Wellicht speelt er dan nog een tweede issue.

Er zat sowieso een bug in de redesign van de MQTT-afhandeling, bij de afgelopen release. Bij deze is v1.23.1 beschikbaar, die sowieso al wat issues moet oplossen. Ik hoor graag van jullie of er, na updaten, nog steeds issues zijn qua missende berichten.

Wellicht ook goed om even te proberen zonder een aangepaste DSMRREADER_MQTT_MAX_MESSAGES_IN_QUEUE instelling (weghalen pakt weer de default).

[Martinvdm]

Dennis,
ik heb idd errors in dsmrreader.log zoals jij schrijft:

ERROR @ apps | publish_split_topic_dsmr_reading() failed: null value in column "payload" violates not-null constraint
DETAIL:  Failing row contains (941670, dsmr/reading/phase_currently_delivered_l2, null)

Ik heb de DSMRREADER_MQTT_MAX_MESSAGES_IN_QUEUE ongedaan gemaakt en wacht even totdat 1.23.1 in de docker versie zit en zal deze dan bijwerken. Tot die tijd heb ik de phases met # uit de gesplitse topic gehaald en dat werkt goed.

[xirixiz]

@Martinvdm De Docker versie heb ik bijgewerkt vandaag naar versie 1.23.1.
https://hub.docker.com/r/xirixiz/dsmr-reader-docker/tags/

[Martinvdm]

aha ok, ik zat al op die van ualex73 te wachten (geen idee wat het vershil is maargoed). bijgewerkt naar 1.23.1. Gaat goed.

dsmr/reading/id 439855
dsmr/reading/extra_device_delivered 06803.376
dsmr/reading/extra_device_timestamp 2018-08-26T19:00:00Z
dsmr/reading/phase_currently_delivered_l3 (null)
dsmr/reading/phase_currently_delivered_l2 (null)
dsmr/reading/phase_currently_delivered_l1 (null)
dsmr/reading/electricity_currently_returned 0000.00
dsmr/reading/electricity_currently_delivered 0001.19
dsmr/reading/electricity_returned_2 07563.931
dsmr/reading/electricity_delivered_2 06211.509
dsmr/reading/electricity_returned_1 02956.308
dsmr/reading/electricity_delivered_1 08961.944
dsmr/reading/timestamp 2018-08-26T19:48:37.977Z

je ziet nu netjes NULL bij de phases maar laat wel de andere topics goed door.

[snoekieboe]

Hier vanmiddag ook de update naar 1.23.1 gedaan. Tot op heden geen klachten. Alles lijkt prima te werken. Alle 3 de fases worden ook netjes gemeld.

Gr

Roel

Op 26 aug. 2018, om 21:51 heeft Martinvdm [e-mail] het volgende geschreven:

aha ok, ik zat al op die van ualex73 te wachten (geen idee wat het vershil is maargoed). bijgewerkt naar 1.23.1. Gaat goed.

dsmr/reading/id 439855
dsmr/reading/extra_device_delivered 06803.376
dsmr/reading/extra_device_timestamp 2018-08-26T19:00:00Z
dsmr/reading/phase_currently_delivered_l3 (null)
dsmr/reading/phase_currently_delivered_l2 (null)
dsmr/reading/phase_currently_delivered_l1 (null)
dsmr/reading/electricity_currently_returned 0000.00
dsmr/reading/electricity_currently_delivered 0001.19
dsmr/reading/electricity_returned_2 07563.931
dsmr/reading/electricity_delivered_2 06211.509
dsmr/reading/electricity_returned_1 02956.308
dsmr/reading/electricity_delivered_1 08961.944
dsmr/reading/timestamp 2018-08-26T19:48:37.977Z
je ziet nu netjes NULL bij de phases maar laat wel de andere topics goed door.

—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub https://github.com/dennissiemensma/dsmr-reader/issues/515#issuecomment-416065550, or mute the thread https://github.com/notifications/unsubscribe-auth/AKT35KcWVDCy-HecKPFulx7K0nsnH_9-ks5uUvxBgaJpZM4VyzwL.

[dennissiemensma]

Fijn, goed om te horen tot dusver.

[xirixiz]

@Martinvdm Ik heb een tijd de Dockerfiles slecht onderhouden. Afgelopen week ben ik zelf dsmr reader weer gaan gebruiken en heb ik alles geoptimaliseerd in Docker. De Docker image is nu nog maar 70mb ipv de initiele 300mb.

ualex73 heeft een fork gemaakt van de initiele code en daar steeds de nodige wijzigingen doorgevoerd. Ik heb op mijn beurt zijn wijzigingen ook weer in mijn code overgenomen.

[Baseje]

Krijg alle waardes weer binnen!
Thanks!

[dennissiemensma]

Mooi, dan ga ik er vanuit dat dit de oorzaak van het issue was en daarmee opgelost is. Bedankt voor de hulp en het geduld.

[dennissiemensma]

Mocht iemand toch nog (andere) issues hebben bij de laatste versie, dan kan dat het beste even via een issue op Github denk ik.

[snoekieboe]

Vanavond stopte de MQTT berichten weer deels. . Alleen "DSMR version “ werd nog gemeld aan mijn MQTT broker.

"sudo supervisorctl restart dsmr_mqtt” waarna vervolgens:

• honderden berichten werden gedumpt in de broker
• de correcte afhandeling van MQTT berichten vanuit DSMR weer werd hervat

Mogelijk toch nog niets niet helemaal op orde?

Gr

Op 27 aug. 2018, om 15:53 heeft Dennis Siemensma [e-mail] het volgende geschreven:

Mocht iemand toch nog (andere) issues hebben bij de laatste versie, dan kan dat het beste even via een issue op Github denk ik.

—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub https://github.com/dennissiemensma/dsmr-reader/issues/515#issuecomment-416233951, or mute the thread https://github.com/notifications/unsubscribe-auth/AKT35Ey3xs7_wX_B1Z-fQn3bkydVrJEiks5uU_nAgaJpZM4VyzwL.

[dennissiemensma]

Bedankt voor het melden. Kun je nog iets terugvinden in de dsmr_mqtt logfiles op het tijdstip dat het gebeurde (het moment van stoppen)?

[snoekieboe]

dsmr_mqtt.log bevat de volgende meldingen op het moment dat ik constateerde niet langer alle MQTT berichten meer te ontvangen en ik de mqtt service heb herstart:

[!] Exception raised in run(): [Errno 32] Broken pipe
Sleeping 1 sec(s)

Detected signal #15
Exiting on next run...
Traceback (most recent call last):
File "/home/dsmr/dsmr-reader/manage.py", line 10, in
execute_from_command_line(sys.argv)
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/__init__.py", line 371, in execute_from_co$
utility.execute()
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/__init__.py", line 365, in execute
self.fetch_command(subcommand).run_from_argv(self.argv)
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/base.py", line 288, in run_from_argv
self.execute(args, *cmd_options)
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/django/core/management/base.py", line 335, in execute
output = self.handle(args, *options)
File "/home/dsmr/dsmr-reader/dsmr_backend/mixins.py", line 43, in handle
self.shutdown()
File "/home/dsmr/dsmr-reader/dsmr_mqtt/management/commands/dsmr_mqtt.py", line 25, in shutdown
self.mqtt_client.disconnect()
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/paho/mqtt/client.py", line 1152, in disconnect
return self._send_disconnect()
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/paho/mqtt/client.py", line 2156, in _send_disconnect
return self._send_simple_command(DISCONNECT)
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/paho/mqtt/client.py", line 2096, in _send_simple_command
return self._packet_queue(command, packet, 0, 0)
File "/home/dsmr/.virtualenvs/dsmrreader/lib/python3.5/site-packages/paho/mqtt/client.py", line 2282, in _packet_queue
self._sockpairW.send(sockpair_data)
BrokenPipeError: [Errno 32] Broken pipe
MQTT | Initializing insecure connection (no TLS)
Starting infinite command loop...
MQTT | Paho client: on_connect(userdata, flags, rc) None {'session present': 0} 0
MQTT | --- 172.16.11.4 : 1883 -> Connection successful
Sleeping 1 sec(s)

Op 30 aug. 2018, om 22:28 heeft Dennis Siemensma [e-mail] het volgende geschreven:

Bedankt voor het melden. Kun je nog iets terugvinden in de dsmr_mqtt logfiles op het tijdstip dat het gebeurde (het moment van stoppen)?

—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub https://github.com/dennissiemensma/dsmr-reader/issues/515#issuecomment-417456533, or mute the thread https://github.com/notifications/unsubscribe-auth/AKT35Ij-cMlJddJexl-mtriQvlOw38SWks5uWEr_gaJpZM4VyzwL.

[dennissiemensma]

Bedankt voor de log, ik ben echter vooral benieuwd naar de oorzaak wanneer het stopte, dus nog voordat je herstartte. Zie je daar nog iets vreemds in de logs?
Anders zou je nog debugging checkbox kunnen aanvinken bij de broker-instellingen. Wellicht wordt er dan een volgende keer beter gelogd waarom die opeens stopt.

Verder zou je nog kunnen kijken in de logs in de dsmr-reader-folder zelf.

[Martinvdm]

Vraag me af of dit ook gerelateerd is aan dit issue. Heb zelf geen missende mqtt waardes meer en ook stabiel.