WikiBR - Contributions [fr]

Tuto pour le déploiement des sites Django

2017-03-10T22:09:24Z

Guillaume.vizier : /* Mise en place de l'authentification par CAS */

== Connexion ==

Assurez vous tout d'abord d'être administrateur de votre binet. Il faut attendre au moins une heure pour que les modifications soient prises en compte.

Ensuite vous ouvrez votre terminal et vous vous connectez sur le serveur avec la commande ssh.
ssh prenom.nom@129.104.201.52

Une fois que vous avez tapé votre mot de passe frankiz, vous arrivez sur le serveur dans un dossier à votre nom. Il y a un fichier {{c|README.txt}} qui devrait donner un certain nombre d'informations sur le fonctionnement de kevarzh ou encore sur certaines modifs à faire sur le code de votre site. Vous pouvez vous diriger sur le serveur par les commandes habituelles. Votre dossier personnel se trouve dans {{c|/hosting/user/prenom.nom}}.

Si jamais vous voulez lancer une commande ayant besoin d'internet (par exemple des commandes git) n'oubliez pas de mettre {{c|proxychains}} devant votre commande.

== Copie des fichiers ==

Le dossier {{c|/hosting/www/nom_binet}} contient (au moins) un dossier par site. Si vous n'avez qu'un site, le dossier par défaut est {{c|htdocs}}. C'est dans un de ces dossiers que vous allez devoir copier le code de votre site.
scp -r /code_site prenom.nom@129.104.201.52:/hosting/wwww/nom_binet/version_site

== Quotas ==

Attention ! L'espace réservé à chaque binet est limité. Il faut se méfier quand on fait une copie, notamment a l'environnement virtuel. D'abord il pèse lourd, en plus il faudra que vous le remplaciez de toute façon. Autant ne pas le copier dès le départ...
Pour savoir si vous avez dépassé votre quota :
quota -sg
Cette commande affiche, pour chaque binet, l'espace utilisé, une «soft limit» et la vraie («hard») limit.

== Virtual environment ==

Une fois que le code du site est en place, il faut recréer l'environnement virtuel.
virtualenv -p /usr/bin/python3 venv
Il est important que vous nommiez le dossier {{c|venv}}.

À partir de là, '''toutes''' les commandes utilisant python doivent être exécutées dans le virtualenv. Pour rentrer dans le virtualenv, vous devez lancer :
source venv/bin/activate

Une fois dans le venv, vous pouvez installer les dépendances nécessaires :
proxychains pip install -r requirements.txt

== Adaptations ==
Certaines adaptations sont nécessaires pour faire fonctionner le site. La documentation officielle de Django fournit une bonne [https://docs.djangoproject.com/fr/1.10/howto/deployment/checklist/ checklist]. Là, pas besoin de se casser la tête il suffit de suivre la liste, des liens sont là pour expliquer en détails ce que l'on fait à chaque fois. Les points essentiels à ne surtout pas sauter sont :
* Mettre {{c|DEBUG}} à {{False}}
* {{c|SECRET_KEY}}:
Si vous utilisez un repo git, il ne faut pas mettre cette clef dans le code.
Un snippet possible est le suivant:
keyfile = os.path.join(BASE_DIR, "secret.key")
if not os.path.exists(keyfile):
with open(keyfile, "wb") as f:
f.write(base64.b64_encode(os.urandom(30)))
with open(keyfile, "r") as f:
SECRET_KEY = f.read().strip()

La clef est contenue dans le fichier {{c|secret.key}} (généré automatiquement s'il n'existe pas) qu'il suffit de mettre dans le {{c|.gitignore}}.

* Mettre {{c|ALLOWED_HOST}} à {{c|["*"]}}, le filtrage a lieu avant Django
* STATIC_ROOT, STATIC_URL, MEDIA_ROOT et MEDIA_URL:
STATIC_URL = '/assets/static/'
STATIC_ROOT = os.path.join(BASE_DIR, "assets/static/")
MEDIA_ROOT = os.path.join(BASE_DIR, "assets/media/")
MEDIA_URL = '/assets/media/'

* emails (indispensable pour être averti des erreurs 500)
DEFAULT_FROM_EMAIL = "nom_du_binet@binets.polytechnique.fr"
# voir https://portail.polytechnique.edu/dsi/eleves/mail-binets
SERVER_EMAIL = DEFAULT_FROM_EMAIL
ADMINS = [("Webmaster", DEFAULT_FROM_EMAIL)]

* base de donnée : n'utilisez pas sqlite ! Nous avons eu des problèmes par le passé, et les bases de données sql sont sauvegardées toutes les semaines.
Un snippet utilisable est :
if DEBUG:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.sqlite3',
'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
}
}
else:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'OPTIONS': {
'read_default_file': os.path.join(BASE_DIR, 'my.cnf'),
},
}
}

Placer les mots de passe dans le fichier {{c|my.cnf}}:
[client]
database = NAME
user = USER
password = PASSWORD
default-character-set = utf8

Bien sûr il faut ajouter ce fichier dans le gitignore.

== Mise en place de l'authentification par CAS ==

* Demander sur [https://panix.binets.fr Panix] à utiliser cette authentification. Préciser les éventuels attributs supplémentaires nécessaires (promo, section, ...).
* Installer le paquet django_ng_cas :
pip install django-ng-cas
* Ajouter ce paquet à la liste des applications :
INSTALLED_APPS = [
...
'django_ng_cas',
...
]
* Configurer la connection au serveur CAS du BR :
AUTHENTICATION_BACKENDS = (
'django.contrib.auth.backends.ModelBackend',
'django_cas_ng.backends.CASBackend',
)
CAS_SERVER_URL = "https://cas.binets.fr/"
* Renseigner les pages de connexion (dans {{c|my_project/urls.py}} par exemple):
from django_cas_ng.views import login, logout

urlpatterns = [
...
url(r'^login$', login, name='cas_ng_login'),
url(r'^logout$', logout, name='cas_ng_logout'),
...
]
* Ajouter l'URL d'entrée :
LOGIN_URL = "login"

* Attention à forcer l'authentification pour les pages concernées :
from django.contrib.auth.decorators import login_required

@login_required
def my_awesome_view(request):
...

À noter :
* le nom de l'utilisateur connecté se trouve dans : request.user.username (accessible dans n'importe quelle vue).
* les attributs du [[LDAP]] peuvent être disponibles (demander les attributs nécessaires lors de la mise en place du CAS). Ils sont alors disponibles dans request.session['attributes'] .
* plus d'option de configuration sont présentés [https://github.com/mingchen/django-cas-ng/tree/master/django_cas_ng ici]

== À chaque modification... ==
* du schéma SQL:
python manage.py migrate
* des fichiers statiques:
python manage.py collectstatic
* du code python quel qu'il soit :
touch /var/run/please/restart
Il faut attendre 1 ou deux minutes que le système enregistre la modification, quand c'est fait il affiche un message dans le terminal.

== Tester ==
=== Erreurs python ===
La commande
python manage.py runserver
permet de vérifier qu'il n'y a pas d'{{c|ImportError}} ou autres. Pensez à le faire dans le virtualenv.
=== Erreurs web ===
Pour checker les changements il suffit de taper l'url du site pour constater en direct les changements. Si jamais il y a un souci il y a deux emplacements pour les logs : {{c|/var/log/uwsgi/nom_binet}} ou {{c|/hosting/log/nom_binet}}.
=== Troubleshooting ===
* Toutes les pages affichent {{c|Internal Server Error}} pas en gras : c'est une erreur de {{c|uwsgi}} qui n'arrive pas à :
** trouver ton site
** trouver le virtualenv
** une exception est levée au démarrage du serveur ({{c|ImportError}} notamment).

Tu peux lire les logs dans {{c|/var/log/uwsgi/<ton binet>/<ton site>.log}} et vérifier où {{c|uwsgi}} va chercher ton site dans {{c|/etc/uwsgi.d/<ton site>.json}}. S'il faut modifier ce dernier fichier, demande-le au BR, tu ne peux pas le faire toi même.
* Toutes les pages affichent {{c|Internal Server Error(500)}} en gras : c'est django. Actives les mails pour avoir des détails, mais tu as probablement oublié de lancer les migrations sur une base sql vide.

Authentification Frankiz

2017-03-10T22:08:57Z

Guillaume.vizier : /* Authentification par le CAS */

Frankiz permet à des sites externes (binets en particulier) d'utiliser sa base de données pour authentifier les utilisateurs.

Le webmaster du site en question doit auparavant faire une demande de mise en place de ce système en envoyant un mail à l'équipe frankiz ([mailto:web@eleves.polytechnique.fr web@eleves.polytechnique.fr]).
Il doit alors donner :
* l'url complète de la page de login de son site (plus précisément, l'URL de callback)
* les informations auxquelles il souhaite accéder
* une justification de la demande (et oui, on ne partage évidemment pas notre base de données avec n'importe qui !)

Si la demande est acceptée, un admin Frankiz va alors inscrire ton site dans notre base de donnée de sites externes et générer une clé qu'il va te communiquer. Cette opération se déroule via l'interface d'administration de frankiz. Cette clé va te permettre d'authentifier les échanges d'informations entre frankiz et le site externe.

==Liste des informations disponibles==

Tu peux demander l'accès aux informations

* names : prénom, nom, surnom, identifiant Frankiz
* email : adresse mail
* photo : URL vers la photo TOL
* promo : nom du premier groupe promo
* sport : nom de la section sportive (si applicable)
* rights : droits dans les groupes associés
* binets_admin : liste des binets dont l'utilisateur est administrateur

==Code de la page d'identification en PHP==
Ci dessous un exemple commenté de script d'authentification, à mettre sur le site externe :

<nowiki>
<?php
include 'fkz_auth.php';
if(!isset($_GET['response'])){
frankiz_do_auth();
}
$auth = frankiz_get_response();
// et voila !
// les données sont stockées dans $auth = array(key => value, ...);</nowiki>

==Code des fonctions utilisées dans ''fkz_auth.php''==

<nowiki>
<?php
/**
* Clé secrète fournie par l'équipe frankiz lors de l'inscription du site.
* Cette clé sert à signer les requêtes et à authentifier le site.
*/
$FKZ_KEY = "000";

function frankiz_do_auth(){
global $FKZ_KEY;
/**
* Prendre le timestamp permet d'éviter le rejet de la requête
*/
$timestamp = time();
/**
* url de la page de login, doit correspondre *exactement* à celle entrée dans
* la base de données de Frankiz (définie lors de l'inscription)
*/
$site = 'http://monsite/login';
/**
* Champ non utile pour l'authentification et retransmis tel quel par frankiz.
* Il est prévu pour pouvoir mettre en place un système de redirection après
* authentification, vers la page à partir de laquelle le client avait tenté de se connecter.
*/
$location = "...";
/**
* Nature de la requête.
* Fkz renverra ici à la fois les noms de la personne mais aussi ses droits dans différents groupes.
* Il faut cependant que le site ait les droits sur les informations en question (à définir lors de son inscription).
*/
$request = json_encode(array('names', 'rights', 'email', 'sport', 'promo', 'photo'));

$hash = md5($timestamp . $site . $FKZ_KEY . $request);

$remote = 'https://www.frankiz.net/remote?timestamp=' . $timestamp .
'&site=' . $site .
'&location=' . $location .
'&hash=' . $hash .
'&request=' . $request;
header("Location:" . $remote);
exit();
}

function frankiz_get_response(){
global $FKZ_KEY;
// Read request
$timestamp = (isset($_GET['timestamp']) ? $_GET['timestamp'] : 0);
$response = (isset($_GET['response']) ? urldecode($_GET['response']) : '');
$hash = (isset($_GET['hash']) ? $_GET['hash'] : '');
$location = (isset($_GET['location']) ? $_GET['location'] : '');

// Frankiz security protocol
if (abs($timestamp - time()) > 600)
die("Délai de réponse dépassé. Annulation de la requête");
if (md5($timestamp . $FKZ_KEY . $response) != $hash)
die("Session compromise.");

$response = json_decode($response, true);
$response['location'] = $location;

// Set empty fields
$fields = array('hruid',
'firstname', 'lastname', 'nickname',
'promo', 'photo', 'location');
foreach ($fields as $k) {
if (!isset($response[$k]))
$response[$k] = '';
}
return $response;
}</nowiki>

==Avec Django==
=== Version sale ===
L'interfaçage de Frankiz directement avec Django n'est pas trivial, pour le faire proprement il faudrait coder un backend d'authentification. En attendant, le code ci dessous est un peu sale mais marche. Il sauve l'username frankiz dans la session, ce qui est raisonnablement safe normalement.

<nowiki>
def logout(request):
del request.session["username"]
request.session.modified = True
return redirect("/")

def fkz_answer(request):
if not "timestamp" in request.GET.keys() or not "response" in request.GET.keys() or not "hash" in request.GET.keys():
return redirect("/login_required/")
response = request.GET.get("response")
ts = request.GET.get("timestamp")
h = request.GET.get("hash")

if abs(int(time.time()) - int(ts)) > 600:
return redirect("/login_required/")

if hashlib.md5(ts + FKZ_KEY + response).hexdigest() != h:
return redirect("/login_required/")

data = json.loads(response)
request.session['username'] = data['hruid']
return redirect("/")

def fkz_do_login(request):
ts = time.time()
page = "http://***/fkz_answer/"
r = json.dumps(["names", "email"])
h = hashlib.md5(ts + page + FKZ_KEY + r).hexdigest()
return redirect("https://www.frankiz.net/remote?"+urlencode([('timestamp',ts),('site',page),('hash',h),('request',r)]))</nowiki>

Il existe cependant une autre méthode utilisant les mêmes identifiants

=== Authentification par le CAS ===

* Demander sur [https://panix.binets.fr Panix] à utiliser cette authentification. Préciser les éventuels attributs supplémentaires nécessaires (promo, section, ...).
* Installer le paquet django_ng_cas :
pip install django-ng-cas
* Ajouter ce paquet à la liste des applications :
INSTALLED_APPS = [
...
'django_ng_cas',
...
]
* Configurer la connection au serveur CAS du BR :
AUTHENTICATION_BACKENDS = (
'django.contrib.auth.backends.ModelBackend',
'django_cas_ng.backends.CASBackend',
)
CAS_SERVER_URL = "https://cas.binets.fr/"
* Renseigner les pages de connexion (dans {{c|my_project/urls.py}} par exemple):
from django_cas_ng.views import login, logout

urlpatterns = [
...
url(r'^login$', login, name='cas_ng_login'),
url(r'^logout$', logout, name='cas_ng_logout'),
...
]
* Ajouter l'URL d'entrée :
LOGIN_URL = "login"

* Attention à forcer l'authentification pour les pages concernées :
from django.contrib.auth.decorators import login_required

@login_required
def my_awesome_view(request):
...

À noter :
* le nom de l'utilisateur connecté se trouve dans : request.user.username (accessible dans n'importe quelle vue).
* les attributs du [[LDAP]] peuvent être disponibles (demander les attributs nécessaires lors de la mise en place du CAS). Ils sont alors disponibles dans request.session['attributes'] .
* plus d'option de configuration sont présentés [https://github.com/mingchen/django-cas-ng/tree/master/django_cas_ng ici]

==Avec Drupal==

L'implémentation de l'authentification avec un CMS comme Drupal n'est pas forcément évidente. Si vous avez une question, vous pouvez contacter [mailto:antoine.sauvage@polytechnique.edu Antoine Sauvage]

==Bugs vécus==

Si l'authentification ne fonctionne pas sur certains navigateurs, vérifier les variables $_GET car elles sont peut être doublement encodées. Dans ce cas, soit refaire '''urldecode''', soit un
$s = str_replace('%22','"',$s);
Si il y a un problème avec les encodages en \u''machinchose'' pour les caractères accentués, voila une fonction qui peut vous servir (reconversion en UTF-8) :
function jsonClean($s) {
return preg_replace("/\\\\u([a-f0-9]{4})/e", "iconv('UCS-4LE','UTF-8',pack('V', hexdec('U$1')))",$s);
}

[[Catégorie:Dev]]

Authentification Frankiz

2017-03-10T22:07:48Z

Guillaume.vizier : /* Authentification CAS */

Frankiz permet à des sites externes (binets en particulier) d'utiliser sa base de données pour authentifier les utilisateurs.

Le webmaster du site en question doit auparavant faire une demande de mise en place de ce système en envoyant un mail à l'équipe frankiz ([mailto:web@eleves.polytechnique.fr web@eleves.polytechnique.fr]).
Il doit alors donner :
* l'url complète de la page de login de son site (plus précisément, l'URL de callback)
* les informations auxquelles il souhaite accéder
* une justification de la demande (et oui, on ne partage évidemment pas notre base de données avec n'importe qui !)

Si la demande est acceptée, un admin Frankiz va alors inscrire ton site dans notre base de donnée de sites externes et générer une clé qu'il va te communiquer. Cette opération se déroule via l'interface d'administration de frankiz. Cette clé va te permettre d'authentifier les échanges d'informations entre frankiz et le site externe.

==Liste des informations disponibles==

Tu peux demander l'accès aux informations

* names : prénom, nom, surnom, identifiant Frankiz
* email : adresse mail
* photo : URL vers la photo TOL
* promo : nom du premier groupe promo
* sport : nom de la section sportive (si applicable)
* rights : droits dans les groupes associés
* binets_admin : liste des binets dont l'utilisateur est administrateur

==Code de la page d'identification en PHP==
Ci dessous un exemple commenté de script d'authentification, à mettre sur le site externe :

<nowiki>
<?php
include 'fkz_auth.php';
if(!isset($_GET['response'])){
frankiz_do_auth();
}
$auth = frankiz_get_response();
// et voila !
// les données sont stockées dans $auth = array(key => value, ...);</nowiki>

==Code des fonctions utilisées dans ''fkz_auth.php''==

<nowiki>
<?php
/**
* Clé secrète fournie par l'équipe frankiz lors de l'inscription du site.
* Cette clé sert à signer les requêtes et à authentifier le site.
*/
$FKZ_KEY = "000";

function frankiz_do_auth(){
global $FKZ_KEY;
/**
* Prendre le timestamp permet d'éviter le rejet de la requête
*/
$timestamp = time();
/**
* url de la page de login, doit correspondre *exactement* à celle entrée dans
* la base de données de Frankiz (définie lors de l'inscription)
*/
$site = 'http://monsite/login';
/**
* Champ non utile pour l'authentification et retransmis tel quel par frankiz.
* Il est prévu pour pouvoir mettre en place un système de redirection après
* authentification, vers la page à partir de laquelle le client avait tenté de se connecter.
*/
$location = "...";
/**
* Nature de la requête.
* Fkz renverra ici à la fois les noms de la personne mais aussi ses droits dans différents groupes.
* Il faut cependant que le site ait les droits sur les informations en question (à définir lors de son inscription).
*/
$request = json_encode(array('names', 'rights', 'email', 'sport', 'promo', 'photo'));

$hash = md5($timestamp . $site . $FKZ_KEY . $request);

$remote = 'https://www.frankiz.net/remote?timestamp=' . $timestamp .
'&site=' . $site .
'&location=' . $location .
'&hash=' . $hash .
'&request=' . $request;
header("Location:" . $remote);
exit();
}

function frankiz_get_response(){
global $FKZ_KEY;
// Read request
$timestamp = (isset($_GET['timestamp']) ? $_GET['timestamp'] : 0);
$response = (isset($_GET['response']) ? urldecode($_GET['response']) : '');
$hash = (isset($_GET['hash']) ? $_GET['hash'] : '');
$location = (isset($_GET['location']) ? $_GET['location'] : '');

// Frankiz security protocol
if (abs($timestamp - time()) > 600)
die("Délai de réponse dépassé. Annulation de la requête");
if (md5($timestamp . $FKZ_KEY . $response) != $hash)
die("Session compromise.");

$response = json_decode($response, true);
$response['location'] = $location;

// Set empty fields
$fields = array('hruid',
'firstname', 'lastname', 'nickname',
'promo', 'photo', 'location');
foreach ($fields as $k) {
if (!isset($response[$k]))
$response[$k] = '';
}
return $response;
}</nowiki>

==Avec Django==
=== Version sale ===
L'interfaçage de Frankiz directement avec Django n'est pas trivial, pour le faire proprement il faudrait coder un backend d'authentification. En attendant, le code ci dessous est un peu sale mais marche. Il sauve l'username frankiz dans la session, ce qui est raisonnablement safe normalement.

<nowiki>
def logout(request):
del request.session["username"]
request.session.modified = True
return redirect("/")

def fkz_answer(request):
if not "timestamp" in request.GET.keys() or not "response" in request.GET.keys() or not "hash" in request.GET.keys():
return redirect("/login_required/")
response = request.GET.get("response")
ts = request.GET.get("timestamp")
h = request.GET.get("hash")

if abs(int(time.time()) - int(ts)) > 600:
return redirect("/login_required/")

if hashlib.md5(ts + FKZ_KEY + response).hexdigest() != h:
return redirect("/login_required/")

data = json.loads(response)
request.session['username'] = data['hruid']
return redirect("/")

def fkz_do_login(request):
ts = time.time()
page = "http://***/fkz_answer/"
r = json.dumps(["names", "email"])
h = hashlib.md5(ts + page + FKZ_KEY + r).hexdigest()
return redirect("https://www.frankiz.net/remote?"+urlencode([('timestamp',ts),('site',page),('hash',h),('request',r)]))</nowiki>

Il existe cependant une autre méthode utilisant les mêmes identifiants

=== Authentification par le CAS ===

* Demander sur [https://panix.binets.fr Panix] à utiliser cette authentification. Préciser les éventuels attributs supplémentaires nécessaires (promo, section, ...).
* Installer le paquet django_ng_cas :
pip install django-ng-cas
* Ajouter ce paquet à la liste des applications :
INSTALLED_APPS = [
...
'django_ng_cas',
...
]
* Configurer la connection au serveur CAS du BR :
AUTHENTICATION_BACKENDS = (
'django.contrib.auth.backends.ModelBackend',
'django_cas_ng.backends.CASBackend',
)
CAS_SERVER_URL = "https://cas.binets.fr/"
* Renseigner les pages de connexion (dans {{c|my_project/urls.py}} par exemple):
from django_cas_ng.views import login, logout

urlpatterns = [
...
url(r'^login$', login, name='cas_ng_login'),
url(r'^logout$', logout, name='cas_ng_logout'),
...
]
* Ajouter l'URL d'entrée :
LOGIN_URL = "login"

* Attention à forcer l'authentification pour les pages concernées :
from django.contrib.auth.decorators import login_required

@login_required
def my_awesome_view(request):
...

À noter :
* le nom de l'utilisateur connecté se trouve dans : request.user.username (accessible dans n'importe quelle vue).
* les attributs du {{LDAP}} peuvent être disponibles (demander les attributs nécessaires lors de la mise en place du CAS). Ils sont alors disponibles dans request.session['attributes'] .
* plus d'option de configuration sont présentés [https://github.com/mingchen/django-cas-ng/tree/master/django_cas_ng ici]

==Avec Drupal==

L'implémentation de l'authentification avec un CMS comme Drupal n'est pas forcément évidente. Si vous avez une question, vous pouvez contacter [mailto:antoine.sauvage@polytechnique.edu Antoine Sauvage]

==Bugs vécus==

Si l'authentification ne fonctionne pas sur certains navigateurs, vérifier les variables $_GET car elles sont peut être doublement encodées. Dans ce cas, soit refaire '''urldecode''', soit un
$s = str_replace('%22','"',$s);
Si il y a un problème avec les encodages en \u''machinchose'' pour les caractères accentués, voila une fonction qui peut vous servir (reconversion en UTF-8) :
function jsonClean($s) {
return preg_replace("/\\\\u([a-f0-9]{4})/e", "iconv('UCS-4LE','UTF-8',pack('V', hexdec('U$1')))",$s);
}

[[Catégorie:Dev]]

Tuto pour le déploiement des sites Django

2017-03-10T22:04:38Z

Guillaume.vizier : /* Authentification CAS */

== Connexion ==

Assurez vous tout d'abord d'être administrateur de votre binet. Il faut attendre au moins une heure pour que les modifications soient prises en compte.

Ensuite vous ouvrez votre terminal et vous vous connectez sur le serveur avec la commande ssh.
ssh prenom.nom@129.104.201.52

Une fois que vous avez tapé votre mot de passe frankiz, vous arrivez sur le serveur dans un dossier à votre nom. Il y a un fichier {{c|README.txt}} qui devrait donner un certain nombre d'informations sur le fonctionnement de kevarzh ou encore sur certaines modifs à faire sur le code de votre site. Vous pouvez vous diriger sur le serveur par les commandes habituelles. Votre dossier personnel se trouve dans {{c|/hosting/user/prenom.nom}}.

Si jamais vous voulez lancer une commande ayant besoin d'internet (par exemple des commandes git) n'oubliez pas de mettre {{c|proxychains}} devant votre commande.

== Copie des fichiers ==

Le dossier {{c|/hosting/www/nom_binet}} contient (au moins) un dossier par site. Si vous n'avez qu'un site, le dossier par défaut est {{c|htdocs}}. C'est dans un de ces dossiers que vous allez devoir copier le code de votre site.
scp -r /code_site prenom.nom@129.104.201.52:/hosting/wwww/nom_binet/version_site

== Quotas ==

Attention ! L'espace réservé à chaque binet est limité. Il faut se méfier quand on fait une copie, notamment a l'environnement virtuel. D'abord il pèse lourd, en plus il faudra que vous le remplaciez de toute façon. Autant ne pas le copier dès le départ...
Pour savoir si vous avez dépassé votre quota :
quota -sg
Cette commande affiche, pour chaque binet, l'espace utilisé, une «soft limit» et la vraie («hard») limit.

== Virtual environment ==

Une fois que le code du site est en place, il faut recréer l'environnement virtuel.
virtualenv -p /usr/bin/python3 venv
Il est important que vous nommiez le dossier {{c|venv}}.

À partir de là, '''toutes''' les commandes utilisant python doivent être exécutées dans le virtualenv. Pour rentrer dans le virtualenv, vous devez lancer :
source venv/bin/activate

Une fois dans le venv, vous pouvez installer les dépendances nécessaires :
proxychains pip install -r requirements.txt

== Adaptations ==
Certaines adaptations sont nécessaires pour faire fonctionner le site. La documentation officielle de Django fournit une bonne [https://docs.djangoproject.com/fr/1.10/howto/deployment/checklist/ checklist]. Là, pas besoin de se casser la tête il suffit de suivre la liste, des liens sont là pour expliquer en détails ce que l'on fait à chaque fois. Les points essentiels à ne surtout pas sauter sont :
* Mettre {{c|DEBUG}} à {{False}}
* {{c|SECRET_KEY}}:
Si vous utilisez un repo git, il ne faut pas mettre cette clef dans le code.
Un snippet possible est le suivant:
keyfile = os.path.join(BASE_DIR, "secret.key")
if not os.path.exists(keyfile):
with open(keyfile, "wb") as f:
f.write(base64.b64_encode(os.urandom(30)))
with open(keyfile, "r") as f:
SECRET_KEY = f.read().strip()

La clef est contenue dans le fichier {{c|secret.key}} (généré automatiquement s'il n'existe pas) qu'il suffit de mettre dans le {{c|.gitignore}}.

* Mettre {{c|ALLOWED_HOST}} à {{c|["*"]}}, le filtrage a lieu avant Django
* STATIC_ROOT, STATIC_URL, MEDIA_ROOT et MEDIA_URL:
STATIC_URL = '/assets/static/'
STATIC_ROOT = os.path.join(BASE_DIR, "assets/static/")
MEDIA_ROOT = os.path.join(BASE_DIR, "assets/media/")
MEDIA_URL = '/assets/media/'

* emails (indispensable pour être averti des erreurs 500)
DEFAULT_FROM_EMAIL = "nom_du_binet@binets.polytechnique.fr"
# voir https://portail.polytechnique.edu/dsi/eleves/mail-binets
SERVER_EMAIL = DEFAULT_FROM_EMAIL
ADMINS = [("Webmaster", DEFAULT_FROM_EMAIL)]

* base de donnée : n'utilisez pas sqlite ! Nous avons eu des problèmes par le passé, et les bases de données sql sont sauvegardées toutes les semaines.
Un snippet utilisable est :
if DEBUG:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.sqlite3',
'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
}
}
else:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'OPTIONS': {
'read_default_file': os.path.join(BASE_DIR, 'my.cnf'),
},
}
}

Placer les mots de passe dans le fichier {{c|my.cnf}}:
[client]
database = NAME
user = USER
password = PASSWORD
default-character-set = utf8

Bien sûr il faut ajouter ce fichier dans le gitignore.

== Mise en place de l'authentification par CAS ==

* Demander sur [https://panix.binets.fr Panix] à utiliser cette authentification. Préciser les éventuels attributs supplémentaires nécessaires (promo, section, ...).
* Installer le paquet django_ng_cas :
pip install django-ng-cas
* Ajouter ce paquet à la liste des applications :
INSTALLED_APPS = [
...
'django_ng_cas',
...
]
* Configurer la connection au serveur CAS du BR :
AUTHENTICATION_BACKENDS = (
'django.contrib.auth.backends.ModelBackend',
'django_cas_ng.backends.CASBackend',
)
CAS_SERVER_URL = "https://cas.binets.fr/"
* Renseigner les pages de connexion (dans {{c|my_project/urls.py}} par exemple):
from django_cas_ng.views import login, logout

urlpatterns = [
...
url(r'^login$', login, name='cas_ng_login'),
url(r'^logout$', logout, name='cas_ng_logout'),
...
]
* Ajouter l'URL d'entrée :
LOGIN_URL = "login"

* Attention à forcer l'authentification pour les pages concernées :
from django.contrib.auth.decorators import login_required

@login_required
def my_awesome_view(request):
...

À noter :
* le nom de l'utilisateur connecté se trouve dans : request.user.username (accessible dans n'importe quelle vue).
* les attributs du {{LDAP}} peuvent être disponibles (demander les attributs nécessaires lors de la mise en place du CAS). Ils sont alors disponibles dans request.session['attributes'] .
* plus d'option de configuration sont présentés [https://github.com/mingchen/django-cas-ng/tree/master/django_cas_ng ici]

== À chaque modification... ==
* du schéma SQL:
python manage.py migrate
* des fichiers statiques:
python manage.py collectstatic
* du code python quel qu'il soit :
touch /var/run/please/restart
Il faut attendre 1 ou deux minutes que le système enregistre la modification, quand c'est fait il affiche un message dans le terminal.

== Tester ==
=== Erreurs python ===
La commande
python manage.py runserver
permet de vérifier qu'il n'y a pas d'{{c|ImportError}} ou autres. Pensez à le faire dans le virtualenv.
=== Erreurs web ===
Pour checker les changements il suffit de taper l'url du site pour constater en direct les changements. Si jamais il y a un souci il y a deux emplacements pour les logs : {{c|/var/log/uwsgi/nom_binet}} ou {{c|/hosting/log/nom_binet}}.
=== Troubleshooting ===
* Toutes les pages affichent {{c|Internal Server Error}} pas en gras : c'est une erreur de {{c|uwsgi}} qui n'arrive pas à :
** trouver ton site
** trouver le virtualenv
** une exception est levée au démarrage du serveur ({{c|ImportError}} notamment).

Tu peux lire les logs dans {{c|/var/log/uwsgi/<ton binet>/<ton site>.log}} et vérifier où {{c|uwsgi}} va chercher ton site dans {{c|/etc/uwsgi.d/<ton site>.json}}. S'il faut modifier ce dernier fichier, demande-le au BR, tu ne peux pas le faire toi même.
* Toutes les pages affichent {{c|Internal Server Error(500)}} en gras : c'est django. Actives les mails pour avoir des détails, mais tu as probablement oublié de lancer les migrations sur une base sql vide.

Tuto pour le déploiement des sites Django

2017-03-10T20:54:29Z

Guillaume.vizier : /* À chaque modification... */

== Connexion ==

Assurez vous tout d'abord d'être administrateur de votre binet. Il faut attendre au moins une heure pour que les modifications soient prises en compte.

Ensuite vous ouvrez votre terminal et vous vous connectez sur le serveur avec la commande ssh.
ssh prenom.nom@129.104.201.52

Une fois que vous avez tapé votre mot de passe frankiz, vous arrivez sur le serveur dans un dossier à votre nom. Il y a un fichier {{c|README.txt}} qui devrait donner un certain nombre d'informations sur le fonctionnement de kevarzh ou encore sur certaines modifs à faire sur le code de votre site. Vous pouvez vous diriger sur le serveur par les commandes habituelles. Votre dossier personnel se trouve dans {{c|/hosting/user/prenom.nom}}.

Si jamais vous voulez lancer une commande ayant besoin d'internet (par exemple des commandes git) n'oubliez pas de mettre {{c|proxychains}} devant votre commande.

== Copie des fichiers ==

Le dossier {{c|/hosting/www/nom_binet}} contient (au moins) un dossier par site. Si vous n'avez qu'un site, le dossier par défaut est {{c|htdocs}}. C'est dans un de ces dossiers que vous allez devoir copier le code de votre site.
scp -r /code_site prenom.nom@129.104.201.52:/hosting/wwww/nom_binet/version_site

== Quotas ==

Attention ! L'espace réservé à chaque binet est limité. Il faut se méfier quand on fait une copie, notamment a l'environnement virtuel. D'abord il pèse lourd, en plus il faudra que vous le remplaciez de toute façon. Autant ne pas le copier dès le départ...
Pour savoir si vous avez dépassé votre quota :
quota -sg
Cette commande affiche, pour chaque binet, l'espace utilisé, une «soft limit» et la vraie («hard») limit.

== Virtual environment ==

Une fois que le code du site est en place, il faut recréer l'environnement virtuel.
virtualenv -p /usr/bin/python3 venv
Il est important que vous nommiez le dossier {{c|venv}}.

À partir de là, '''toutes''' les commandes utilisant python doivent être exécutées dans le virtualenv. Pour rentrer dans le virtualenv, vous devez lancer :
source venv/bin/activate

Une fois dans le venv, vous pouvez installer les dépendances nécessaires :
proxychains pip install -r requirements.txt

== Adaptations ==
Certaines adaptations sont nécessaires pour faire fonctionner le site. La documentation officielle de Django fournit une bonne [https://docs.djangoproject.com/fr/1.10/howto/deployment/checklist/ checklist]. Là, pas besoin de se casser la tête il suffit de suivre la liste, des liens sont là pour expliquer en détails ce que l'on fait à chaque fois. Les points essentiels à ne surtout pas sauter sont :
* Mettre {{c|DEBUG}} à {{False}}
* {{c|SECRET_KEY}}:
Si vous utilisez un repo git, il ne faut pas mettre cette clef dans le code.
Un snippet possible est le suivant:
keyfile = os.path.join(BASE_DIR, "secret.key")
if not os.path.exists(keyfile):
with open(keyfile, "wb") as f:
f.write(base64.b64_encode(os.urandom(30)))
with open(keyfile, "r") as f:
SECRET_KEY = f.read().strip()

La clef est contenue dans le fichier {{c|secret.key}} (généré automatiquement s'il n'existe pas) qu'il suffit de mettre dans le {{c|.gitignore}}.

* Mettre {{c|ALLOWED_HOST}} à {{c|["*"]}}, le filtrage a lieu avant Django
* STATIC_ROOT, STATIC_URL, MEDIA_ROOT et MEDIA_URL:
STATIC_URL = '/assets/static/'
STATIC_ROOT = os.path.join(BASE_DIR, "assets/static/")
MEDIA_ROOT = os.path.join(BASE_DIR, "assets/media/")
MEDIA_URL = '/assets/media/'

* emails (indispensable pour être averti des erreurs 500)
DEFAULT_FROM_EMAIL = "nom_du_binet@binets.polytechnique.fr"
# voir https://portail.polytechnique.edu/dsi/eleves/mail-binets
SERVER_EMAIL = DEFAULT_FROM_EMAIL
ADMINS = [("Webmaster", DEFAULT_FROM_EMAIL)]

* base de donnée : n'utilisez pas sqlite ! Nous avons eu des problèmes par le passé, et les bases de données sql sont sauvegardées toutes les semaines.
Un snippet utilisable est :
if DEBUG:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.sqlite3',
'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
}
}
else:
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'OPTIONS': {
'read_default_file': os.path.join(BASE_DIR, 'my.cnf'),
},
}
}

Placer les mots de passe dans le fichier {{c|my.cnf}}:
[client]
database = NAME
user = USER
password = PASSWORD
default-character-set = utf8

Bien sûr il faut ajouter ce fichier dans le gitignore.

== À chaque modification... ==
* du schéma SQL:
python manage.py migrate
* des fichiers statiques:
python manage.py collectstatic
* du code python quel qu'il soit :
touch /var/run/please/restart
Il faut attendre 1 ou deux minutes que le système enregistre la modification, quand c'est fait il affiche un message dans le terminal.

== Tester ==
=== Erreurs python ===
La commande
python manage.py runserver
permet de vérifier qu'il n'y a pas d'{{c|ImportError}} ou autres. Pensez à le faire dans le virtualenv.
=== Erreurs web ===
Pour checker les changements il suffit de taper l'url du site pour constater en direct les changements. Si jamais il y a un souci il y a deux emplacements pour les logs : {{c|/var/log/uwsgi/nom_binet}} ou {{c|/hosting/log/nom_binet}}.
=== Troubleshooting ===
* Toutes les pages affichent {{c|Internal Server Error}} pas en gras : c'est une erreur de {{c|uwsgi}} qui n'arrive pas à :
** trouver ton site
** trouver le virtualenv
** une exception est levée au démarrage du serveur ({{c|ImportError}} notamment).

Tu peux lire les logs dans {{c|/var/log/uwsgi/<ton binet>/<ton site>.log}} et vérifier où {{c|uwsgi}} va chercher ton site dans {{c|/etc/uwsgi.d/<ton site>.json}}. S'il faut modifier ce dernier fichier, demande-le au BR, tu ne peux pas le faire toi même.
* Toutes les pages affichent {{c|Internal Server Error(500)}} en gras : c'est django. Actives les mails pour avoir des détails, mais tu as probablement oublié de lancer les migrations sur une base sql vide.

Authentification Frankiz

2016-09-23T13:08:05Z

Guillaume.vizier : /* Bugs vécus */

Frankiz permet à des sites externes (binets en particulier) d'utiliser sa base de données pour authentifier les utilisateurs.

Le webmaster du site en question doit auparavant faire une demande de mise en place de ce système en envoyant un mail à l'équipe frankiz ([mailto:web@eleves.polytechnique.fr web@eleves.polytechnique.fr]).
Il doit alors donner :
* l'url complète de la page de login de son site (plus précisément, l'URL de callback)
* les informations auxquelles il souhaite accéder
* une justification de la demande (et oui, on ne partage évidemment pas notre base de données avec n'importe qui !)

Si la demande est acceptée, un admin Frankiz va alors inscrire ton site dans notre base de donnée de sites externes et générer une clé qu'il va te communiquer. Cette opération se déroule via l'interface d'administration de frankiz. Cette clé va te permettre d'authentifier les échanges d'informations entre frankiz et le site externe.

==Liste des informations disponibles==

Tu peux demander l'accès aux informations

* names : prénom, nom, surnom, identifiant Frankiz
* email : adresse mail
* photo : URL vers la photo TOL
* promo : nom du premier groupe promo
* sport : nom de la section sportive (si applicable)
* rights : droits dans les groupes associés
* binets_admin : liste des binets dont l'utilisateur est administrateur

==Code de la page d'identification en PHP==
Ci dessous un exemple commenté de script d'authentification, à mettre sur le site externe :

<nowiki>
<?php
include 'fkz_auth.php';
if(!isset($_GET['response'])){
frankiz_do_auth();
}
$auth = frankiz_get_response();
// et voila !
// les données sont stockées dans $auth = array(key => value, ...);</nowiki>

==Code des fonctions utilisées dans ''fkz_auth.php''==

<nowiki>
<?php
/**
* Clé secrète fournie par l'équipe frankiz lors de l'inscription du site.
* Cette clé sert à signer les requêtes et à authentifier le site.
*/
$FKZ_KEY = "000";

function frankiz_do_auth(){
global $FKZ_KEY;
/**
* Prendre le timestamp permet d'éviter le rejet de la requête
*/
$timestamp = time();
/**
* url de la page de login, doit correspondre *exactement* à celle entrée dans
* la base de données de Frankiz (définie lors de l'inscription)
*/
$site = 'http://monsite/login';
/**
* Champ non utile pour l'authentification et retransmis tel quel par frankiz.
* Il est prévu pour pouvoir mettre en place un système de redirection après
* authentification, vers la page à partir de laquelle le client avait tenté de se connecter.
*/
$location = "..."
/**
* Nature de la requête.
* Fkz renverra ici à la fois les noms de la personne mais aussi ses droits dans différents groupes.
* Il faut cependant que le site ait les droits sur les informations en question (à définir lors de son inscription).
*/
$request = json_encode(array('names', 'rights', 'email', 'sport', 'promo', 'photo'));

$hash = md5($timestamp . $site . $FKZ_KEY . $request);

$remote = 'https://www.frankiz.net/remote?timestamp=' . $timestamp .
'&site=' . $site .
'&location=' . $location .
'&hash=' . $hash .
'&request=' . $request;
header("Location:" . $remote);
exit();
}

function frankiz_get_response(){
global $FKZ_KEY;
// Read request
$timestamp = (isset($_GET['timestamp']) ? $_GET['timestamp'] : 0);
$response = (isset($_GET['response']) ? urldecode($_GET['response']) : '');
$hash = (isset($_GET['hash']) ? $_GET['hash'] : '');
$location = (isset($_GET['location']) ? $_GET['location'] : '');

// Frankiz security protocol
if (abs($timestamp - time()) > 600)
die("Délai de réponse dépassé. Annulation de la requête");
if (md5($timestamp . $FKZ_KEY . $response) != $hash)
die("Session compromise.");

$response = json_decode($response, true);
$response['location'] = $location;

// Set empty fields
$fields = array('hruid',
'firstname', 'lastname', 'nickname',
'promo', 'photo', 'location');
foreach ($fields as $k) {
if (!isset($response[$k]))
$response[$k] = '';
}
return $response;
}</nowiki>

==Avec Django==
L'interfaçage avec Django n'est pas trivial, pour le faire proprement il faudrait coder un backend d'authentification. En attendant, le code ci dessous est un peu sale mais marche. Il sauve l'username frankiz dans la session, ce qui est raisonnablement safe normalement.

<nowiki>
def logout(request):
del request.session["username"]
request.session.modified = True
return redirect("/")

def fkz_answer(request):
if not "timestamp" in request.GET.keys() or not "response" in request.GET.keys() or not "hash" in request.GET.keys():
return redirect("/login_required/")
response = request.GET.get("response")
ts = request.GET.get("timestamp")
h = request.GET.get("hash")

if abs(int(timestamp()) - int(ts)) > 600:
return redirect("/login_required/")

if hashlib.md5(ts + FKZ_KEY + response).hexdigest() != h:
return redirect("/login_required/")

data = json.loads(response)
request.session['username'] = data['hruid']
return redirect("/")

def fkz_do_login(request):
ts = timestamp()
page = "http://***/fkz_answer/"
r = json.dumps(["names", "email"])
h = hashlib.md5(ts + page + FKZ_KEY + r).hexdigest()
return redirect("http://www.frankiz.net/remote?"+urlencode([('timestamp',ts),('site',page),('hash',h),('request',r)]))</nowiki>

==Avec Drupal==

L'implémentation de l'authentification avec un CMS comme Drupal n'est pas forcément évidente. Si vous avez une question, vous pouvez contacter [mailto:antoine.sauvage@polytechnique.edu Antoine Sauvage]

==Bugs vécus==

Si l'authentification ne fonctionne pas sur certains navigateurs, vérifier les variables $_GET car elles sont peut être doublement encodées. Dans ce cas, soit refaire '''urldecode''', soit un
$s = str_replace('%22','"',$s);
Si il y a un problème avec les encodages en \u''machinchose'' pour les caractères accentués, voila une fonction qui peut vous servir (reconversion en UTF-8) :
function jsonClean($s) {
return preg_replace("/\\\\u([a-f0-9]{4})/e", "iconv('UCS-4LE','UTF-8',pack('V', hexdec('U$1')))",$s);
}

[[Catégorie:Dev]]