[Plone-conosur] Creando su propio repositorio PYPI

Leonardo Caballero leonardocaballero en gmail.com
Mie Mayo 15 17:40:26 UTC 2013


Que raro el mio pesa 13,2 GB ;-) tal ves sea por que tengo desde 2010
realizando este mirror

He leido en las discusiones de pypi que han hecho cambios en la forma de
almacenar paquetes en pypi pero no recuerdo bien

revisaste el pypimirror.log en busca de algún error?

De igual forma podemos coordinar en una sincronización de repos
en próximos eventos en merida

Cualquier novedad o mejoras me puedes ayudar a mejor la documentación o
la configuración de este articulo siguiendo las instrucciones al pie de
pagina del lado izquierdo "Editar este documento" :)

saludos



2013/3/25 Flamel <flamelcanto en gmail.com>

> Quiero comentar que he intentado tener el repositorio de pypi como
> resultado puedo comentar:
> siguiendo la receta en
> http://plone-spanish-docs.readthedocs.org/en/latest/python/instalar_config_propio_mirror_pypi.html
>
> primero intente de modo manual y generaba unos problemas con BeautifulSoup
> al intentar bajarla con pip y con easyinstall; intente bajandolo e
> instalandolo y luego de varias intentos logré que dijera que la instalacion
> era existosa, aun asi al querer inicializar el repo generaba as errores, me
> disculpo por no guardar el registro de errores para postearlo por aqui.
>
> Luego intente con el metodo asistido con el buildout y tambien tuve
> problemas con BeautifulSoup asi que descargando la fuente desde
> https://pypi.python.org/pypi/BeautifulSoup/ y guardandolo ya
> descomprimido en "src/z3c.pypimirror/src/BeautifulSoup-3.2.1/" dentro del
> directorio que clonamos con git pude correr el buildout y que terminara
> correctamente.
>
> Ahora queria preguntar porque si mi esta asi:
>
> [DEFAULT]
> # the root folder of all mirrored packages.
> # if necessary it will be created for you
> mirror_file_path = /home/pypimirror/packages
>
> # where's your mirror on the net?
>  base_url = http://localhost/
>
> # lock file to avoid duplicate runs of the mirror script
> lock_file_name = /home/pypimirror/pypi-poll-access.lock
>
> # days to fetch in past on update
> fetch_since_days = 7
>
> # Pattern for package files, only those matching will be mirrored
> filename_matches =
>     *.zip
>     *.tgz
>     *.egg
>     *.tar.gz
>     *.tar.bz2
>
> # Pattern for package names; only packages having matching names will
> # be mirrored
> package_matches =
> #    zope.*
> #    z3c.*
> #    plone.*
> #    Products.*
> #    collective.*
>     *.*
>
> # remove packages not on pypi (or externals) anymore
> cleanup = True
>
> # create index.html files
> create_indexes = True
>
> # be more verbose
> verbose = True
>
> # resolve download_url links on pypi which point to files and download
> # the files from there (if they match filename_matches).
> # The filename and filesize (from the download header) are used
> # to find out if the file is already on the mirror. Not all servers
> # support the content-length header, so be prepared to download
> # a lot of data on each mirror update.
> # This is highly experimental and shouldn't be used right now.
> #
> # NOTE: This option should only be set to True if package_matches is not
> # set to '*' - otherwise you will mirror a huge amount of data. BE CAREFUL
> # using this option!!!
> external_links = False
>
> # similar to 'external_links' but also follows an index page if no
> # download links are available on the referenced download_url page
> # of a given package.
> #
> # NOTE: This option should only be set to True if package_matches is not
> # set to '*' - otherwise you will mirror a huge amount of data. BE CAREFUL
> # using this option!!!
> follow_external_index_pages = False
>
> # logfile
> log_filename = /home/pypimirror/pypimirror.log
>
>
> cuando le digo que corra la primera vez asi: "./bin/pypimirror
> --initial-fetch --follow-external-links --follow-external-index-pages
> --log-console ./pypimirror.cfg"
> el comando corre sin problema y me muestra el progreso:
>
> 2013-03-25 01:17:52,971 INFO   starting mirror
> 2013-03-25 01:47:47,755 INFO   Processing: Products.CMFDynamicViewFTI 4.0.3
> 2013-03-25 01:47:48,750 INFO   Stored:
> Products.CMFDynamicViewFTI-4.0.3.zip [29 kB]
> 2013-03-25 01:47:49,832 INFO   Processing: vice.zope2.outbound 1.0a1,
> 1.0rc1
> 2013-03-25 01:47:50,633 INFO   Stored: vice.zope2.outbound-1.0a1-py2.4.egg
> [12 kB]
> 2013-03-25 01:47:51,310 INFO   Stored: vice.zope2.outbound-1.0a1.tar.gz
> [10 kB]
> .
> .
> 2013-03-25 09:53:31,194 INFO   Processing: Products.SimpleCalendar 1.0.1b4
> 2013-03-25 09:53:40,137 INFO   Stored:
> Products.SimpleCalendar-1.0.1b4.tar.gz [8 kB]
> 2013-03-25 09:53:42,305 INFO   Processing: plonetheme.fui 2.2.1
> 2013-03-25 09:53:46,865 INFO   Stored: plonetheme.fui-2.2.1.tar.gz [38 kB]
> 2013-03-25 09:53:47,025 INFO   Statistics
> 2013-03-25 09:53:47,025 INFO   ----------
> 2013-03-25 09:53:47,025 INFO   Found (cached):         0
> 2013-03-25 09:53:47,026 INFO   Stored (downloaded):    7110
> 2013-03-25 09:53:47,026 INFO   Not found (404):        0
> 2013-03-25 09:53:47,026 INFO   Invalid packages:       0
> 2013-03-25 09:53:47,026 INFO   Invalid URLs:           4
> 2013-03-25 09:53:47,026 INFO   Runtime:                485m59s
>
>
> y cuando consulto el peso de los paquetes descargados
>
> du -hs packages/
> 1,1G packages/
>
> entonces yo tenia entendido que ern aproximadamente 13GB.
>
> reviso el tutorial y me dice que para actualizar es con "./bin/pypimirror
> --update-fetch --follow-external-links --follow-external-index-pages
> /home/pypimirror/pypimirror.cfg" y el resultado es el siguiente:
>
> 2013-03-25 10:11:30,679 INFO   starting mirror
> 2013-03-25 10:12:55,105 INFO   Processing: collective.picturefill 1.0
> 2013-03-25 10:12:55,649 INFO   Processing: j01.datepicker 0.5.1
> 2013-03-25 10:12:56,191 INFO   Processing: cipher.logview 1.1.0
> 2013-03-25 10:12:56,727 INFO   Processing: SRPAstro.REM 1.3.1
> .
> .
> 2013-03-25 10:15:03,804 INFO   Processing: Products.CMFPlomino 1.17
> 2013-03-25 10:15:04,582 INFO   Processing: quintagroup.theme.pythonreel 1.1
> 2013-03-25 10:15:05,338 INFO   Processing: sphinxcontrib.gist 0.1.0
> 2013-03-25 10:15:06,163 INFO   Processing: gocept.testdb 1.1.1
> 2013-03-25 10:15:06,325 INFO   Statistics
> 2013-03-25 10:15:06,325 INFO   ----------
> 2013-03-25 10:15:06,326 INFO   Found (cached):         123
> 2013-03-25 10:15:06,326 INFO   Stored (downloaded):    9
> 2013-03-25 10:15:06,326 INFO   Not found (404):        0
> 2013-03-25 10:15:06,326 INFO   Invalid packages:       0
> 2013-03-25 10:15:06,326 INFO   Invalid URLs:           0
> 2013-03-25 10:15:06,326 INFO   Runtime:                2m13s
>
>
> por lo que quisiera saber si debo correrlo muchas veces para que realmente
> actualice todo??
>
>
> El 31 de agosto de 2010 06:12, Ruben Hidalgo <ruben.rhidalgo en gmail.com>escribió:
>
>>
>>
>> El 30 de agosto de 2010 22:41, Leonardo Caballero <
>> leonardocaballero en gmail.com> escribió:
>>
>> Hola pythonisos(as)
>>>
>>> Me complace presentar el primer borrador del tutorial de como
>>> configurar su propio repositorio PYPI (0), la idea es que lo prueben y
>>> cualquier mejora se mejore este tutorial  ;)
>>>
>>> Como comentario en Venezuela hemos lo hemos probado en algunas
>>> fundaciones de ciencia y tecnología con buenos resultados
>>>
>>> Espero que sea de utilidad ;)
>>>
>>> (0)
>>> http://www.coactivate.org/projects/ploneve/instalar-y-configurar-su-propio-repositorio-de-pyp~xadi~xad
>>>
>>>
>> buen recurso
>> gracias por ponerlo a disposición
>>
>> --
>> Rubén Hidalgo Soto
>>
>> _______________________________________________
>> Plone-ConoSur mailing list
>> Plone-ConoSur en lists.plone.org
>> http://lists.plone.org/mailman/listinfo/plone-conosur
>>
>>
>
>
> --
> __________________________
> Flamel Canto
> flamelcanto en gmail.com/hotmail.com/yahoo.com/cantv.net
> Si buscas resultados distintos, no hagas siempre lo mismo. Albert Einstein
> linuxCounter:498413
>
> _______________________________________________
> Plone-ConoSur mailing list
> Plone-ConoSur en lists.plone.org
> https://lists.plone.org/mailman/listinfo/plone-plone-conosur
>
>


-- 
Atentamente

T.S.U. Leonardo Caballero
Linux Counter ID = https://linuxcounter.net/user/369081.html
Key fingerprint = 9FD2 DC71 38E7 A1D1 57F5  1D29 04DE 43BC 8A27 424A

/me Corriendo Debian Wheezy y Canaina GNU/Linux 3
/me Cree "El Conocimiento Humano le Pertenece al Mundo"
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://lists.plone.org/pipermail/plone-plone-conosur/attachments/20130515/1258c3b6/attachment-0001.html>


Más información sobre la lista de distribución Plone-ConoSur