pluriTAL – BLOG Master pluriTAL [ParisX, ParisIII, INALCO]

Comment effacer les doublons des fichiers texte ?

Posted in pluriTAL by pluritaluser on 3 avril 2009

Comment effacer les doublons?

1) Il faut aller à la ligne après chaque point et après chaque majuscule au début de la deuxième phrase.

Bash:
$ sed -i.bak -e s/ »\. »/ »\.\n »/g ./livres.txt  #Va à la ligne après le point (que sur l’ordi de la fac)

Perl:
$recup=~s/\./\.\n/g; #Va à la ligne après chaque points  –> NE MARCHE PAS

Il faudrait aussi pouvoir lui dire de ne pas aller à la ligne après « … » mais (^.) ne marche dans aucun langage.

#On doit aussi faire une commande pour aller à la ligne après une majuscule lorsque deux phrases sont collées mais ça ne marche pas.
if ($recup=~/([a-z])([A-Z][a-z])/g) {
$recup=~s/$2/$2\n/g  #Va à la ligne lorsque c’est une fin de ligne sans point
}; –> NE MARCHE PAS (ex: compagne de ModiglianiAu Palais Garnier)

Et après être allé à la ligne après chaque point, il faut aussi supprimer les espaces éventuels en début de ligne:

Bash:
$ sed -i.bak -e s/ »^ « / » »/g livres.txt

2)Il faut ensuite faire:

Bash:

sort -u livres.txt > livres-un.txt #Supprime les doublons, mais on ne peut pas écraser son propre fichier sinon tout disparaît.  (Je pense qu’il s’agit d’un programme à télécharger car cela ne marche que sur l’ordinateur de la fac. )

Je n’ai pas cherché comment faire pour Perl.

Cela ne supprime les doublons que dans les fichiers texte.

Il reste quand même le problème des majuscules
:
Des archéologues retrouvent des sculptures
Des archéologues retrouvent des sculpturesNé le 18 juillet 1917 à Cayenne (Guyane), le chanteur avait fait ses adieux à la scène au Palais des congrès, à Paris, en décembre 2007.
Des ivoires métis sont présentés Quai Branly.
Des oeuvres d’Inde ou d’Iran voient leur cote s’envoler.
Des responsables du spectacle sont inquiets pour leurs budgets.
Deux nouveaux fauteuils sont à pourvoir, le 7 février, pour tenter de repeupler une Académie française qui enregistre davantage de morts que d’élus.
Deux sites proposent des plates-formes musicales participatives pour les producteurs amateurs et les musiciens.
Deux solos à la Manufacture des Abbesses.
Décevante « Ecole des femmes » à l’Odéon.
Désignée comme capitale européenne de la culture, la cité anglaise ouvre les festivités.
En cause, 77 « copies » de la dernière compagne de Modigliani
En cause, 77 « copies » de la dernière compagne de ModiglianiAu Palais Garnier, un rare manifeste de l’Italien Luigi Dallapiccola.
En cause, 77 « copies » de la dernière compagne de ModiglianiLe tout est l’oeuvre du Niçois Céleste Boursier-Mougenot.

Françoise Del Socorro

—————————————-

J’ai résolu le problème des majuscules au milieu de phrase en amont:

Des archéologues retrouvent des sculptures
Des ivoires métis sont présentés Quai Branly.
Des oeuvres d’Inde ou d’Iran voient leur cote s’envoler.
Des responsables du spectacle sont inquiets pour leurs budgets.
Deux nouveaux fauteuils sont à pourvoir, le 7 février, pour tenter de repeupler une Académie française qui enregistre davantage de morts que d’élus.
Deux sites proposent des plates-formes musicales participatives pour les producteurs amateurs et les musiciens.
Deux solos à la Manufacture des Abbesses.
Décevante  Ecole des femmes  à l’Odéon.
Désignée comme capitale européenne de la culture, la cité anglaise ouvre les festivités.
Édouard II  et  Massacre à Paris  du dramaturge élisabéthain sont représentés en France.
Eldorado  s’impose au Théâtre de la Ville.
En cause, 77  copies  de la dernière compagne de Modigliani
Entretien avec l’historien israélien.

(exemple tiré de culture.txt et pas de livres.txt)

Et donc je fais tout sur bash:

sed -i.bak -e s/ »\. »/ »\.\n »/g ./livres.txt
sed -i.bak -e s/ »^ « / » »/g livres.txt
sort -u livres.txt > livres-un.txt

Françoise Del Socorro

Publicités

Laisser un commentaire

Choisissez une méthode de connexion pour poster votre commentaire:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :