Softethervpn: New version (5.1) breaks older installations

[DDGo]

Prerequisites

• [ x ] Can you reproduce?
• [ x] Are you running the latest version of SoftEtherVPN?

SoftEther version:
Component: Server
Operating system: Ubuntu 16.04
Architecture: 64 bit

[In case it's a computer with known specs, such as the Raspberry Pi, you can specify it omitting the details.]
Processor: Intel Pentium D (not that it matters to this issue at all)

Description

Update broke current install.

Expected behavior:
Installed correctly and no error

Actual behavior:
The installation failed with the following:

Jul 21 12:52:10 ubuntu systemd[1]: Starting LSB: SoftEther VPN service... -- Subject: Unit softether-vpnserver.service has begun start-up -- Defined-By: systemd -- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel -- -- Unit softether-vpnserver.service has begun starting up. Jul 21 12:52:10 ubuntu softether-vpnserver[16510]: Starting SoftEtherVPN Server: vpnserver/usr/bin/vpnserver: 2: /usr/bin/vpnserver: /opt/vpnserver/vpnserver: not found Jul 21 12:52:10 ubuntu systemd[1]: softether-vpnserver.service: Control process exited, code=exited status=2 Jul 21 12:52:10 ubuntu systemd[1]: Failed to start LSB: SoftEther VPN service. -- Subject: Unit softether-vpnserver.service has failed -- Defined-By: systemd -- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel -- -- Unit softether-vpnserver.service has failed. -- -- The result is failed.

Steps to reproduce

1. Install version 5.1 over 4.23
2. Watch the install and see it fail.

I managed to recover my installation by a backup of the config file and grabbing a copy of an older version deb in the repository of paskal.

[chipitsine]

I'll have a look. Stay tuned:)

[vampywiz17]

Same with my system... Now i can not use VPN. I can not switch back to the older version...(i installed it from paskal-07 repo) Are you able to fix it soon?

[chipitsine]

we hope to fix it in few days

[chipitsine]

can you have a look at https://github.com/SoftEtherVPN/SoftEtherVPN/pull/579 ?

if it is approved, I'll merge it

[DDGo]

Hello @chipitsine and @davidebeatrici

I hate to comment a closed ticket, but it seems it's not fixed. I can't install newer releases because of build failures. Which means I'm still stuck with the older broken package. See here.

Edit: more failing architectures

[DDGo]

make[1]: Entering directory '/<<PKGBUILDDIR>>'
echo '#!/bin/sh'                              > debian/usr/bin/vpnserver
/bin/sh: 1: cannot create debian/usr/bin/vpnserver: Directory nonexistent
debian/rules:20: recipe for target 'override_dh_auto_install' failed
make[1]: *** [override_dh_auto_install] Error 2
make[1]: Leaving directory '/<<PKGBUILDDIR>>'
debian/rules:14: recipe for target 'binary' failed
make: *** [binary] Error 2
dpkg-buildpackage: error: fakeroot debian/rules binary subprocess returned exit status 2

[chipitsine]

ok, I'll have a look

[chipitsine]

"more failing architectures" due to "cpuid.h" missing on ARM platforms.

I did not fix that yet. maybe @davidebeatrici has plan reganding that

I only meant to fix x86_64 builds, sorry they are still broken
I can build them locally on ubuntu, some magic still required to fix on launchpad

[vampywiz17]

I hope it possible to fix paskal-07 PPA...

[chipitsine]

I hope as well

[me-me-me-me]

Hi,
Dmitry is in vacation and for the moment cannot help us.
At the moment we have many "failed to build" probally related to the problem due to "cpuid.h" but we have also install problem related to "/opt/vpnserver/vpnserver: not found"

After deleting the apt cache if I do:
sudo apt-get upgrade && sudo apt-get install softether-vpnserver
happens this:
Reading package lists... Done
Building dependency tree
Reading state information... Done
Calculating upgrade... Done
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following additional packages will be installed:
softether-vpncmd
The following NEW packages will be installed:
softether-vpncmd softether-vpnserver
0 upgraded, 2 newly installed, 0 to remove and 0 not upgraded.
Need to get 4952 B of archives.
After this operation, 30.7 kB of additional disk space will be used.
Do you want to continue? [Y/n] y
Get:1 http://ppa.launchpad.net/paskal-07/softethervpn/ubuntu bionic/main
amd64 softether-vpncmd amd64 5.01.9657-0~201807251108~ubuntu18.04.1 [1788 B]
Get:2 http://ppa.launchpad.net/paskal-07/softethervpn/ubuntu bionic/main
amd64 softether-vpnserver amd64 5.01.9657-0~201807251108~ubuntu18.04.1
[3164 B]
Fetched 4952 B in 0s (24.2 kB/s)
Selecting previously unselected package softether-vpncmd.
(Reading database ... 90342 files and directories currently installed.)
Preparing to unpack
.../softether-vpncmd_5.01.9657-0~201807251108~ubuntu18.04.1_amd64.deb ...
Unpacking softether-vpncmd (5.01.9657-0~201807251108~ubuntu18.04.1) ...
Selecting previously unselected package softether-vpnserver.
Preparing to unpack
.../softether-vpnserver_5.01.9657-0~201807251108~ubuntu18.04.1_amd64.deb ...
Unpacking softether-vpnserver (5.01.9657-0~201807251108~ubuntu18.04.1) ...
Processing triggers for ureadahead (0.100.0-20) ...
Setting up softether-vpncmd (5.01.9657-0~201807251108~ubuntu18.04.1) ...
Processing triggers for systemd (237-3ubuntu10.3) ...
Setting up softether-vpnserver (5.01.9657-0~201807251108~ubuntu18.04.1) ...
Job for softether-vpnserver.service failed because the control process
exited with error code.
See "systemctl status softether-vpnserver.service" and "journalctl -xe"
for details.
invoke-rc.d: initscript softether-vpnserver, action "start" failed.
● softether-vpnserver.service - LSB: SoftEther VPN service
Loaded: loaded (/etc/init.d/softether-vpnserver; generated)
Active: failed (Result: exit-code) since Fxxxxxxxxxxxxxx UTC;
24ms ago
Docs: man:systemd-sysv-generator(8)
Process: 17669 ExecStart=/etc/init.d/softether-vpnserver start
(code=exited, status=2)

xxxxxxxxxxxxxx3 vpn systemd[1]: Starting LSB: SoftEther VPN service...
xxxxxxxxxxxxxx vpn softether-vpnserver[17669]: Starting SoftEtherVPN
Server: vpnserver/usr/bin/vpnserver: 2: /usr/bin/vpnserver:
/opt/vpnserver/vpnserver: not found
xxxxxxxxxxxxxx vpn systemd[1]: softether-vpnserver.service: Control
process exited, code=exited status=2
xxxxxxxxxxxxxx test-vpn systemd[1]: softether-vpnserver.service: Failed
with result 'exit-code'.
xxxxxxxxxxxxxx vpn systemd[1]: Failed to start LSB: SoftEther VPN service.
dpkg: error processing package softether-vpnserver (--configure):
installed softether-vpnserver package post-installation script
subprocess returned error exit status 1
Processing triggers for systemd (237-3ubuntu10.3) ...
Processing triggers for ureadahead (0.100.0-20) ...
Errors were encountered while processing:
softether-vpnserver

[baf28]

Подскажите что делать то? теперь из PPA не ставятся пакеты ни на 14 ни на 18 версию Ubuntu. Можно вернуть старые версии deb пакетов? что бы пользоваться ими? из всего вышеперечисленного я ничего не понял, да же наоборот, только последнее сообщение говорит о реальной проблеме, остальные что тут делают мне не понятно.

[chipitsine]

привет, из ppa можно поставить пакет с указанием версии, попробуйте поставить явно 4.23.9647 ?

с 5-й версией получилась не очень приятная история, которая к сожалению, еще не закончилась. события развивались примерно так

1. система сборки перешла на CMake (в этот момент пакеты стали собираться неправильно, но не заметили)
2. запилили интеловскую реализацию AES-NI (чем сломали билды на неинтеловских архитектурах)
3. AES-NI починили
4. систему сборки пакетов первели на CPack, но он требует CMake 3.7, которого нет ни на какой убунте кроме 18.04

пока в таком состоянии. очень нужны руки, которые это могут поддерживать

[chipitsine]

из хороших новостей, пакеты собираются на gitlab-ci (это настроено, чтобы предотвратить случайную поломку в будущем), буквально сегодня билды наконец позеленели

https://gitlab.com/SoftEther/SoftEtherVPN/pipelines/27925589

[baf28]

1. Пока не понятно как установить нужную версию 4.23.9647 из ppa, быстрый гугл не помог и скачать не нашел где можно, весь ppa перерыл.

ubuntu 18.04:

1. при сборке из исходников скаченных с офф сайт выдает ошибку:
   collect2: error: ld returned 1 exit status
   Makefile:18: recipe for target 'i_read_and_agree_the_license_agreement' failed
   make[1]: * [i_read_and_agree_the_license_agreement] Error 1
2. при сборке из гитхаба https://github.com/SoftEtherVPN/SoftEtherVPN/ собирается, но при подключении к серверу пишет: Protocol Error is occurring.

В Ubuntu 14.04 из официальных исходников ставится и работает 4.25 RTM.

[baf28]

root@ubuntu18:/usr/src/vpnclient# apt-cache policy softether-vpncmd
softether-vpncmd:
Установлен: (отсутствует)
Кандидат: 5.01.9657-0~201807251108~ubuntu18.04.1
Таблица версий:
5.01.9657-0~201807251108~ubuntu18.04.1 500
500 http://ppa.launchpad.net/paskal-07/softethervpn/ubuntu bionic/main amd64 Packages

[chipitsine]

http://ppa.launchpad.net/paskal-07/softethervpn/ubuntu/pool/main/s/softether-vpn/

[chipitsine]

"при сборке из исходников скаченных с офф сайт выдает ошибку:
collect2: error: ld returned 1 exit status
Makefile:18: recipe for target 'i_read_and_agree_the_license_agreement' failed
make[1]: * [i_read_and_agree_the_license_agreement] Error " - можете по шагам описать, как вы собираете ?

по крайней мере на гитлабе билды зеленые, все собирается.
локально у меня тоже

[baf28]

sudo apt-add-repository ppa:paskal-07/softethervpn && sudo apt-get update
раскоментирую исходники в siurce.list
apt-get build-deb softether-vpnserver - скачиваются все зависимости.
качаю https://www.softether-download.com/files/softether/v4.25-9656-rtm-2018.01.15-tree/Linux/SoftEther_VPN_Client/64bit_-_Intel_x64_or_AMD64/softether-vpnclient-v4.25-9656-rtm-2018.01.15-linux-x64-64bit.tar.gz
Затем как там написано делаю make и три раза 1-1-1.

Из исходником гитхаба тоже самое, только конфигуре, make и make install - но в таком случаи я уже писал собиратеся но не конектица к серверу установленному ранее из ppa.

[baf28]

и вопрос почему версия 5 тут, когда на офф сайте 2,27 максимальная бета?

[baf28]

http://ppa.launchpad.net/paskal-07/softethervpn/ubuntu/pool/main/s/softether-vpn/ по этой ссйлке я не нашел версии 4,23 для Ubuntu 18 с архитектурой amd64 только arm ((( я либо слепой либо ...

[chipitsine]

есть некая путаница с версиями и сайтами. осенью 2017 проект разделился на "стабильный" и "разрабатываемый"

стабильный - это версия 4 (его вы качали), это репозиторий https://github.com/SoftEtherVPN/SoftEtherVPN_Stable
разрабатываемый - это версия 5 и репозиторий https://github.com/SoftEtherVPN/SoftEtherVPN (но на самом деле, внутри дебиановских скриптов тут до недавнего времени была 4-я версия, что усугубляет путаницу)

то, что вы компилируете 4-ю версию, не очень понятно, куда задавать по ней вопросы. можно попробовать на форуме.

по 5-й версии - да, это правильное место.
компилируется, но не конектится - баг ваш видел, не вникал еще. баг надо чинить. если у вас есть время, было бы круто, если бы вы помогли

кажется, может помочь такой сценарий - с каким-то шагом идти по комитам (данного репозитория), их компилировать, и смотреть, на каком комите началось поведение "компилируется, но не работает"

дебиановская система сборки, к сожалению, не была покрыта тестами, когда @davidebeatrici начал внедрять CMake, она оказалась к этому не готова, пока не успела оправиться. как приведем ее в чувство, можно будет ей пользоваться

[baf28]

Вы пишите: по 5-й версии - да, это правильное место.
компилируется, но не конектится - баг ваш видел, не вникал еще. баг надо чинить. если у вас есть время, было бы круто, если бы вы помогли

Но я ставил из ppa версию стабильную 4, и сейчас стоит 4,23:
Версия: 4.23.9647-0~201804052107~ubuntu14.04.1
а когда я запускаю и смотрю версию то вижу совсем другой расклад:
Version 5.01 Build 9657
Как такое может быть в ppa мне не понятно, такое чувство что обман. ну да ладно, как вы сказали это не сюда.

Собираю из гитхаба инстейбле версию:
версия собралась, но не подключается к серверу.
к сожалению логов клиента так и не нашел, везде лежат логи старые, а новых нет у этой анстейбле версии.

[baf28]

нашел логи:
2018-08-15 12:56:05.239 VPN Connection Setting "MNG": Connection operation starting (this is now 33 times).
2018-08-15 12:56:05.705 VPN Connection Setting "MNG": The connection has been either disconnected or it failed. Cause: Protocol error occurred. Error was returned from the destination server. (code 2)

[chipitsine]

"Но я ставил из ppa версию стабильную 4, и сейчас стоит 4,23:
Версия: 4.23.9647-0201804052107ubuntu14.04.1
а когда я запускаю и смотрю версию то вижу совсем другой расклад:
Version 5.01 Build 9657"

это разработческая ветка

версий на самом деле было две - одна версия программы (тут вы видите 5, другая - версия дебиан пакета, она бралась из другого файла)

вот в этом комите я привел эти версии к 5-й

https://github.com/SoftEtherVPN/SoftEtherVPN/commit/be0ebb65c16474fdfb8112f0cf85ca29f465b086

пакеты, собранные до этого комита обладали описанным вами свойством, пакет 4-й версии, внутри 5-я.

сожалею, что вы рассматриваете это как обман. такой задачи не было

[baf28]

так что, как же поставить рабочую версию в 18 убунту?

[chipitsine]

я боюсь, что разочарую вас, но правда заключается в том, что данный репозиторий не всегда является стабильным. если вам хочется решения "из коробки", возможно вам более подойдет стабильный репозиторий (и сборка из исходников)

то, что вы столкнулись с ошибкой, говорит о том, что ошибка скорее всего есть, было бы круто ее исправить. алгоритм локализации я описал выше - компилировать последовательно комиты из нестабильного репозитория, и смотреть, на каком билде ошибка появилась, это поможет ее локализовать и, вероятно, исправить. если вы поможете - дело пойдет быстрее. если нет, то нет понимания, когда кто-то этим сможет заняться.

[baf28]

при компиляции ошибка не появляется, все проходит успешно. но соединить сервера между собой нет возможности.

[baf28]

подскажите стабильный репозиторий?

[baf28]

да иразницы нет, что стабильный что несталбильный в 18 убунту всеравно не работает ни тот ни тот.

[chipitsine]

а можете попробовать те же версии, скажем на убунте 16.04 ? или, на 18-й попробовать какой-нибудь комит годовалой давности

хочется локализовать, это было сломано в каком-то комите, или на 18-й никогда в принципе не работало ?

было бы круто, если бы вы расписали по шагам, как вы ставите, чтобы я смог воспроизвести ваш сценарий. если есть желание, могу в Azure сделать пару виртуалок на 18-й убунте и дать вам доступ, совместно поисследуем. пойдет ?

[baf28]

я всеми рукаи и ногами за, если я смогу чем-то помочь то я согласен

[baf28]

нужно 2 виртуалки, одна 14 версия будет сервером, вторая 18 весрия будет клиентом. 16 не рассматриваю, у меня нет этой версии в парке.
можно редактировать оказывается. Я это делаю в VirtualBox. могу где угодно повторить.

[chipitsine]

напишите мне на [email protected]
я пока пошел делать виртуалки в Azure

[baf28]

все получилось исправить, после установки из исходников, проблема была в алгоритме, поменял алгоритм и все заработало. Но PPA больше ставить не буду, чего еще сломают

[shtse8]

I have the same issue with the latest build

root@freedom:~#  /usr/bin/vpnserver
/usr/bin/vpnserver: 2: /usr/bin/vpnserver: /opt/vpnserver/vpnserver: not found

[davidebeatrici]

SoftEther VPN Server is now installed in /usr/libexec/softether/vpnserver.

You can edit the path inside /usr/bin/vpnserver.

[shtse8]

I am using the PPA to install softether. How can I edit the ppa script to solve this issue?

apt install software-properties-common
apt-add-repository ppa:paskal-07/softethervpn
apt update
apt install softether-vpnserver

Job for softether-vpnserver.service failed because the control process exited with error code. See "systemctl status softether-vpnserver.service" and "journalctl -xe" for details.
invoke-rc.d: initscript softether-vpnserver, action "start" failed.
● softether-vpnserver.service - LSB: SoftEther VPN service
   Loaded: loaded (/etc/init.d/softether-vpnserver; bad; vendor preset: enabled)
   Active: failed (Result: exit-code) since Mon 2018-08-20 17:48:31 CST; 6ms ago
     Docs: man:systemd-sysv-generator(8)
  Process: 4147 ExecStart=/etc/init.d/softether-vpnserver start (code=exited, status=2)

Aug 20 17:48:31 freedom-2 systemd[1]: Starting LSB: SoftEther VPN service...
Aug 20 17:48:31 freedom-2 softether-vpnserver[4147]: Starting SoftEtherVPN Server: vp...d
Aug 20 17:48:31 freedom-2 systemd[1]: softether-vpnserver.service: Control process ...s=2
Aug 20 17:48:31 freedom-2 systemd[1]: Failed to start LSB: SoftEther VPN service.
Aug 20 17:48:31 freedom-2 systemd[1]: softether-vpnserver.service: Unit entered fai...te.
Aug 20 17:48:31 freedom-2 systemd[1]: softether-vpnserver.service: Failed with resu...e'.
Hint: Some lines were ellipsized, use -l to show in full.
dpkg: error processing package softether-vpnserver (--configure):
 subprocess installed post-installation script returned error exit status 1
Errors were encountered while processing:
 softether-vpnserver

root@freedom-2:~# find / -name "vpnserver"
/opt/vpnserver
/usr/bin/vpnserver

root@freedom-2:~# /opt/vpnserver
/opt/vpnserver: 2: /opt/vpnserver: /build/softether-vpn-K3iyBK/softether-vpn-5.01.9657/usr/libexec/softether/vpnserver/vpnserver: not found
root@freedom-2:~# /usr/bin/vpnserver
/usr/bin/vpnserver: 2: /usr/bin/vpnserver: /opt/vpnserver/vpnserver: not found

[DDGo]

@davidebeatrici I just tried that and it doesn't work. It says the path to it does not exist.

[paskal]

Builds are failing, by the way: https://launchpadlibrarian.net/384967572/buildlog.txt.gz

[chipitsine]

launchpad build requires "debian" subfolter, that folder was removed from repo in favour of CPack.
however, CPack packaging is kind of "work in progress", e.g. startup script currently missing.

so, help is required in the following

1) add startup script to CPack
2) rework launchpad ppa to use CPack builds

"git-build-recipe: error: No control file to take the package name from, and --package not specified." means "debian folder was not found"

[davidebeatrici]

The main problem is that Launchpad doesn't support Git submodules: https://bugs.launchpad.net/git-build-recipe/+bug/1733603

[me-me-me-me]

No news?
Switching to Cpack has made the repo completely unusable and blocked the use of softether to many people...

[paskal]

Builds are still broken.

[chipitsine]

@paskal , who is responsible for maintaining ppa repo ?

[paskal]

I am. The problem Davide mentioned is unsolved, and also some harmful things happened lately (especially this very issue) and unknown amount of them is still there (builds are behaving badly under different platforms).
I'm thinking of forking this repo, making in-place fixes to get builds working, and leaving it in such state for the time being until there will be security updates to merge. Current contributors team choose something else over stability and I think it's cheapest way to fix things for Ubuntu users.

[davidebeatrici]

The only aspect we chose over stability is security, but so far only #552 and #688 are caused by that and I'm working on fixing them.

I'm extremely sorry about this issue, we should've fixed the systemd services much sooner.

Right now the only thing that's breaking the PPA builds is cpu_features, as submodules are not supported on Launchpad (https://bugs.launchpad.net/git-build-recipe/+bug/1733603).

They're working on it, according to the bug status. Meanwhile, as a temporary fix, you could fork this repository and replace the submodule with the files from its repository (https://github.com/google/cpu_features).

[paskal]

At this very moment absence of debian directory breaks things, if I got it correctly I could just attach it from another repo (as well as submodule, maybe), and it will work. I'll check it this week.
Thanks for the work you're doing! I think we should introduce more tests to make sure build-related things are stay in some known positions and won't run away from us once more:)

[davidebeatrici]

You're welcome!

I agree that we should have more tests, especially for the packaging (DEB/RPM for now).