Walkyourplace Django - Revision history

Cris: /* Características nuevas */

2017-08-04T15:42:10Z

‎Características nuevas

Cris: /* Análisis de muchos puntos mediante la subida de un archivo CSV */

2017-08-04T15:38:08Z

‎Análisis de muchos puntos mediante la subida de un archivo CSV

Cris: /* Cambio de frecuencia de buses editando el archivo GTFS de Santiago */

2016-12-27T21:31:07Z

‎Cambio de frecuencia de buses editando el archivo GTFS de Santiago

Cris: /* Funcionamiento actual */

2016-12-27T21:26:27Z

‎Funcionamiento actual

Cris: /* Cambio de frecuencia de buses editando el archivo GTFS de Santiago */

2016-12-27T21:26:00Z

‎Cambio de frecuencia de buses editando el archivo GTFS de Santiago

Cris: /* Sistema de Log para análisis de archivos CSV */

2016-12-27T21:06:33Z

‎Sistema de Log para análisis de archivos CSV

Cris: /* Funcionamiento actual */

2016-09-09T04:14:59Z

‎Funcionamiento actual

Cris: /* Análisis de muchos puntos mediante la subida de un archivo CSV */

2016-09-09T04:13:31Z

‎Análisis de muchos puntos mediante la subida de un archivo CSV

Show changes

Cris: /* Características nuevas */

2016-09-09T03:53:35Z

‎Características nuevas

Cris: /* Características nuevas */

2016-09-09T03:33:51Z

‎Características nuevas

Show changes

@@ Line 1,043: / Line 1,043: @@
 Para que el putno anterior de esta documentación funcione correctamente, fue necesario que se creara una API REST que nos permita obtener datos de las frecuencias mientras que por GET le enviemos la ID correspondiente al tramo a evaluar. En otras palabras, debemos ingresar una URL como ésta [http://146.155.17.19:17080/gtfs/frec_REST?f=101-I-S_V25-B14] y obtendremos un objeto Json con la información en cuestión.
 = Funcionamiento actual =
 El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

← Older revision		Revision as of 15:38, 4 August 2017
Line 909:		Line 909:

	Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.		Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.
		+
		+	=== UPDATE Paralelización ===
		+
		+	Al analizar la ciudad de Santiago con un archivo CSV, éste tardaba cerca de 23 horas en completar más de 52000 puntos, por lo que se decidió usar paralelización para utilizar todo el rendimiento de la VM. Para ello se utilizaron los librerías de Python '''threading''' y '''Queue'''. El código cambió en las siguientes líneas:
		+
		+	<source lang="Python">
		+	import threadint
		+	import Queue
		+
		+	if csv_model.type_of_analysis == 'Bike':
		+	args_list = list()
		+	for line in lines:
		+	aux = line.split(';')
		+	if aux[0] != 'id' and len(aux)>2:
		+	start_point = aux[1]+','+aux[2]
		+	biking_time_period = aux[3]
		+	distance_decay_function = aux[4]
		+	start_time = time()
		+	args_list.append([start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value,csv_model.escenario.id,start_time])
		+	if len(args_list)==40 or lines.index(line) == len(lines)-1:
		+	process_list = list()
		+	queue_list = list()
		+	for arg in args_list:
		+	q = Queue.Queue()
		+	process = threading.Thread(target=text_from_bike, args=arg+[q])
		+	process.start()
		+	process_list.append(process)
		+	queue_list.append(q)
		+	args_list = list()
		+	for process in process_list:
		+	process.join()
		+	for queue in queue_list:
		+	text = queue.get()
		+	temp.write(text)
		+	logging.info(text.strip('\n'))
		+	id_result += 1
		+	</source>
		+
		+	El cambio en los otros modos es similar. El gran cambio de esta metodología es que crea grupos de 40 pequeños programas que solo se encargan de realizar la evaluación, éste recupera todos estos resultados y después ejecuta otros 40, con ésto el tiempo se reduce considerablemente, ya que habían puntos que tardaban solo 1 segundo en tener respuesta como otros más de 10. Por cada 40 puntos a analizar el nuevo tiempo corresponde a la duración del que tarde más. En otras palabras, si el grupo de 40 puntos son de score 0 y tardan menos de 1 segundo en ser analizados, el tiempo será menos de 1 segundo para todo el grupo en comparación a los respectivos 40 que sería analizar uno a uno.

	== Sistema de Log para análisis de archivos CSV ==		== Sistema de Log para análisis de archivos CSV ==

@@ Line 1,000: / Line 1,000: @@
 Cabe destacar que este proceso es temporal mientras no se construya un front-end ideal, ésta herramienta se construyó de esta forma para probar su funcionalidad y no garantiza lo más óptimo.
 = Funcionamiento actual =
 El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

← Older revision		Revision as of 21:26, 27 December 2016
Line 1,003:		Line 1,003:
	= Funcionamiento actual =		= Funcionamiento actual =

−	El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/	+	El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

@@ Line 981: / Line 981: @@
 == Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==
 = Funcionamiento actual =
 El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

@@ Line 979: / Line 979: @@
 subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
 </source>
 = Funcionamiento actual =
 El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

← Older revision		Revision as of 04:14, 9 September 2016
Line 982:		Line 982:
	= Funcionamiento actual =		= Funcionamiento actual =

−	El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/	+	El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

@@ Line 393: / Line 393: @@
 		super(Demographic,self).save(*args, **kwargs)
 </source>
 Modificamos el archivo wyp/views.py para mandar estos datos a la vista html
@@ Line 648: / Line 657: @@
 python manage.py runserver
 </source>
 = Funcionamiento actual =
 El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/