QA: run/compile each test on each platform and check with each host API
We need someone to go through and run/compile each test on each platform and check that it runs correctly with each host API.
The comments below notes that the tests should be made on Linux with native ALSA hardware and also with ALSA/PulseAudio.
This ticket has a couple of purposes:
- Ensure that all of the tests compile and run
- Validate that all platform/host APIs have a certain baseline level of functionality and stability, which approximates that of V18 (since most of the tests have been around since V18 in some form).
=== Resolution criteria ===
This ticket will be closed when the following two conditions are met:
1. Each test and example compiles and executes on each platform with each applicable host API.
2. In every case, either the test must run correctly, or any issues found must be added as new TRAC tickets and listed in the table below.
When a ticket has been run successfully with a given host API put PASS in that cell. If there were issues, create a new ticket and put the ticket number in that cell. Tests that aren't relevant for a particular host API should be labled NA.
/examples
||= test name =||= alsa =||= asihpi =||= asio =||= coreaudio =||= dsound =||= jack =||= oss =||= wasapi =||= wdmks =||= wmme =||
|| pa_devs.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| pa_fuzz.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_pink.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_read_write_wire.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_record.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_saw.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_sine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_wmme_ac3.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_write_sine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_write_sine_nonint.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_mono_asio_channel_select.c || NA || NA || ? || NA || NA || NA || NA || NA || NA || NA ||
|| paex_wmme_surround.c || NA || NA || NA || NA || NA || NA || NA || NA || NA || ? ||
/tests
||= test name =||= alsa =||= asihpi =||= asio =||= coreaudio =||= dsound =||= jack =||= oss =||= wasapi =||= wdmks =||= wmme =||
|| patest1.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_buffer.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_callbackstop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_clip.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_converters.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dither.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dsound_find_best_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dsound_low_level_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dsound_surround.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_hang.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_in_overflow.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_jack_wasapi.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_latency.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_leftright.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_longsine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_many.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_maxsines.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_mono.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_multi_sine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_out_underflow.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_prime.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_read_record.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_ringmix.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine8.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_channelmaps.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_formats.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_srate.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_time.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_start_stop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_stop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_stop_playout.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_suggested_vs_streaminfo_latency.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sync.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_timing.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_toomanysines.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_two_rates.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_underflow.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_wire.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_wmme_find_best_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_wmme_low_level_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_write_stop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
The comments below notes that the tests should be made on Linux with native ALSA hardware and also with ALSA/PulseAudio.
This ticket has a couple of purposes:
- Ensure that all of the tests compile and run
- Validate that all platform/host APIs have a certain baseline level of functionality and stability, which approximates that of V18 (since most of the tests have been around since V18 in some form).
=== Resolution criteria ===
This ticket will be closed when the following two conditions are met:
1. Each test and example compiles and executes on each platform with each applicable host API.
2. In every case, either the test must run correctly, or any issues found must be added as new TRAC tickets and listed in the table below.
When a ticket has been run successfully with a given host API put PASS in that cell. If there were issues, create a new ticket and put the ticket number in that cell. Tests that aren't relevant for a particular host API should be labled NA.
/examples
||= test name =||= alsa =||= asihpi =||= asio =||= coreaudio =||= dsound =||= jack =||= oss =||= wasapi =||= wdmks =||= wmme =||
|| pa_devs.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| pa_fuzz.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_pink.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_read_write_wire.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_record.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_saw.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_sine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_wmme_ac3.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_write_sine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_write_sine_nonint.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| paex_mono_asio_channel_select.c || NA || NA || ? || NA || NA || NA || NA || NA || NA || NA ||
|| paex_wmme_surround.c || NA || NA || NA || NA || NA || NA || NA || NA || NA || ? ||
/tests
||= test name =||= alsa =||= asihpi =||= asio =||= coreaudio =||= dsound =||= jack =||= oss =||= wasapi =||= wdmks =||= wmme =||
|| patest1.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_buffer.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_callbackstop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_clip.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_converters.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dither.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dsound_find_best_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dsound_low_level_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_dsound_surround.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_hang.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_in_overflow.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_jack_wasapi.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_latency.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_leftright.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_longsine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_many.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_maxsines.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_mono.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_multi_sine.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_out_underflow.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_prime.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_read_record.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_ringmix.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine8.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_channelmaps.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_formats.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_srate.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sine_time.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_start_stop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_stop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_stop_playout.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_suggested_vs_streaminfo_latency.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_sync.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_timing.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_toomanysines.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_two_rates.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_underflow.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_wire.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_wmme_find_best_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_wmme_low_level_latency_params.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
|| patest_write_stop.c || ? || ? || ? || ? || ? || ? || ? || ? || ? || ? ||
Leave a comment
Richard Ash noted on the mailing list:
> we should add to the
> platforms Linux/ALSA, which needs testing both as
> real-ALSA-with-real-hardware and fake-ALSA-provided-by-pulseaudio (the
> latter is a frequent cause of bugs as Ubuntu insist upon installing
> pulseaudio by default).
> we should add to the
> platforms Linux/ALSA, which needs testing both as
> real-ALSA-with-real-hardware and fake-ALSA-provided-by-pulseaudio (the
> latter is a frequent cause of bugs as Ubuntu insist upon installing
> pulseaudio by default).