Comments on: Benchmark entre RSpec e Shoulda

By: nofxx

nofxx — Fri, 14 Aug 2009 11:42:17 +0000

O lance eh evitar codigo q use banco em before(:each)s ... Usando :all consegui reduzir nuns 70% o tempo dos testes, (3000 shoulds, ~ 50s C2D 8500), tva beirando 2 minutos jah...

O problema eh ter de limpar depois, pois (ainda acho q eh bug) o rspec nao roda :all em transaction.

Massa tb eh o bacon. E Object Daddy ou Machinist inves de Factory Girl (which sux too)

By: RoadHouse

RoadHouse — Fri, 14 Aug 2009 06:03:57 +0000

essa porra do Lucas sempre agitando!

porrada nele!

F L A M E W A R!

By: Lucas Húngaro

Lucas Húngaro — Fri, 14 Aug 2009 06:00:55 +0000

Bom, existe um problema no framework, mas não acho que seja a causa de uma suite de 600 e poucos testes levar 26 minutos pra rodar.

O benchmark mostra a criação de 20.000 testes numa só classe, o que passa longe de um cenário real (isso foi dito na lista de discussão). Mostra sim que há um problema, mas nada que vá afetar uma suite "real", com tamanho médio.

Se 20.000 testes levam pouco mais de 8 minutos, porque 600 levam 26 minutos? Tudo bem que os testes do benchmark são muito simples, mas a quantidade bem maior de testes no benchmark compensa isso tranquilamente.

Como exemplo, trabalho com uma suite de testes usando Shoulda e factory_girl, com 285 testes (todos, unitários e funcionais, tocam o banco de dados). Essa suite é executada em 85 segundos.

Correndo o risco de ser chamado de fan boy , acredito que o que acontece nesse caso é um caso extremo de mal uso das ferramentas. Nem que essa suite estivesse em RJesus ela iria rodar rapidamente.

By: RoadHouse

RoadHouse — Fri, 14 Aug 2009 02:29:24 +0000

e agora é que eu não sei mesmo o que usar :D

By: Lucas Húngaro

Lucas Húngaro — Fri, 14 Aug 2009 01:18:01 +0000

Maravilha.

Coloquei esses benchmarks no grupo de discussões do Shoulda. O problema parece ser no código que gera testes do Test::Unit a partir dos shoulds, contexts e afins (o "tradutor").

Dá pra acompanhar a thread aqui: http://groups.google.com/group/shoulda/browse_thread/thread/894caa4546943f5c

By: Nando Vieira

Nando Vieira — Fri, 14 Aug 2009 00:34:19 +0000

Lucas, taí o exemplo do Test::Unit! Mesmo fazendo class_eval para adicionar os métodos, ele foi equivalente aos resultados do RSpec.

By: Lucas Húngaro

Lucas Húngaro — Thu, 13 Aug 2009 21:12:40 +0000

Cara, vira fazer também um exemplo com Test::Unit puro - a lentidão pode ser causada pelas asserções dele.

By: Nando Vieira

Nando Vieira — Thu, 13 Aug 2009 20:21:10 +0000

@ Lucas: Vou dar uma olhada no Micronaut e talvez incluir no benchmark também!

@ Juliano: Pois é! Nos dois casos (Shoulda e RSpec), usar o Factory Girl foi melhor! Para quem gosta da sintaxe, acho que é uma boa!

@ George: O que pode estar acontecendo talvez, seja por questão de escopo (estou usando private); não sei se isso influencia e é pura especulação.

By: George Guimarães

George Guimarães — Thu, 13 Aug 2009 19:55:33 +0000

O Factory Girl melhorou o tempo do RSpec? Será que isso é só pq é um teste sintético?

Ótimo post! Parabéns!

By: Carlos A. da Silva

Carlos A. da Silva — Thu, 13 Aug 2009 19:50:26 +0000

Muito bom Nando,

nunca havia parado para analisar um benchmark como esse, e também nunca cheguei a pensar que havia tanta diferença entre o Shoulda e o Rspec. Fiquei impressionado.
A um tempo atrás comecei usando o Shoulda em meus projetos e depois com o Remarkable migrei para o Rspec, e hoje me sinto muito bem usando ele. Agora realmente estou certo da mudança!

Abraço.