tests/files/README

   1
   2 .xz Test Files
   3 ----------------
   4
   5 0. Introduction
   6
   7     This directory contains bunch of files to test handling of .xz files
   8     in .xz decoder implementations. Many of the files have been created
   9     by hand with a hex editor, thus there is no better "source code" than
  10     the files themselves. All the test files (*.xz) and this README have
  11     been put into the public domain.
  12
  13
  14 1. File Types
  15
  16     Good files (good-*.xz) must decode successfully without requiring
  17     a lot of CPU time or RAM.
  18
  19     Unsupported files (unsupported-*.xz) are good files, but headers
  20     indicate features not supported by the current file format
  21     specification.
  22
  23     Bad files (bad-*.xz) must cause the decoder to give an error. Like
  24     with the good files, these files must not require a lot of CPU time
  25     or RAM before they get detected to be broken.
  26
  27
  28 2. Descriptions of Individual Files
  29
  30 2.1. Good Files
  31
  32     good-0-empty.xz has one Stream with no Blocks.
  33
  34     good-0pad-empty.xz has one Stream with no Blocks followed by
  35     four-byte Stream Padding.
  36
  37     good-0cat-empty.xz has two zero-Block Streams concatenated without
  38     Stream Padding.
  39
  40     good-0catpad-empty.xz has two zero-Block Streams concatenated with
  41     four-byte Stream Padding between the Streams.
  42
  43     good-1-check-none.xz has one Stream with one Block with two
  44     uncompressed LZMA2 chunks and no integrity check.
  45
  46     good-1-check-crc32.xz has one Stream with one Block with two
  47     uncompressed LZMA2 chunks and CRC32 check.
  48
  49     good-1-check-crc64.xz is like good-1-check-crc32.xz but with CRC64.
  50
  51     good-1-check-sha256.xz is like good-1-check-crc32.xz but with
  52     SHA256.
  53
  54     good-2-lzma2.xz has one Stream with two Blocks with one uncompressed
  55     LZMA2 chunk in each Block.
  56
  57     good-1-block_header-1.xz has both Compressed Size and Uncompressed
  58     Size in the Block Header. This has also four extra bytes of Header
  59     Padding.
  60
  61     good-1-block_header-2.xz has known Compressed Size.
  62
  63     good-1-block_header-3.xz has known Uncompressed Size.
  64
  65     good-1-delta-lzma2.tiff.xz is an image file that compresses
  66     better with Delta+LZMA2 than with plain LZMA2.
  67
  68     good-1-x86-lzma2.xz uses the x86 filter (BCJ) and LZMA2. The
  69     uncompressed file is compress_prepared_bcj_x86 found from the tests
  70     directory.
  71
  72     good-1-sparc-lzma2.xz uses the SPARC filter and LZMA. The
  73     uncompressed file is compress_prepared_bcj_sparc found from the tests
  74     directory.
  75
  76     good-1-lzma2-1.xz has two LZMA2 chunks, of which the second sets
  77     new properties.
  78
  79     good-1-lzma2-2.xz has two LZMA2 chunks, of which the second resets
  80     the state without specifying new properties.
  81
  82     good-1-lzma2-3.xz has two LZMA2 chunks, of which the first is
  83     uncompressed and the second is LZMA. The first chunk resets dictionary
  84     and the second sets new properties.
  85
  86     good-1-3delta-lzma2.xz has three Delta filters and LZMA2.
  87
  88
  89 2.2. Unsupported Files
  90
  91     unsupported-check.xz uses Check ID 0x02 which isn't supported by
  92     the current version of the file format. It is implementation-defined
  93     how this file handled (it may reject it, or decode it possibly with
  94     a warning).
  95
  96     unsupported-block_header.xz has a non-nul byte in Header Padding,
  97     which may indicate presence of a new unsupported field.
  98
  99     unsupported-filter_flags-1.xz has unsupported Filter ID 0x7F.
 100
 101     unsupported-filter_flags-2.xz specifies only Delta filter in the
 102     List of Filter Flags, but Delta isn't allowed as the last filter in
 103     the chain. It could be a little more correct to detect this file as
 104     corrupt instead of unsupported, but saying it is unsupported is
 105     simpler in case of liblzma.
 106
 107     unsupported-filter_flags-3.xz specifies two LZMA2 filters in the
 108     List of Filter Flags. LZMA2 is allowed only as the last filter in the
 109     chain. It could be a little more correct to detect this file as
 110     corrupt instead of unsupported, but saying it is unsupported is
 111     simpler in case of liblzma.
 112
 113
 114 2.3. Bad Files
 115
 116     bad-0pad-empty.xz has one Stream with no Blocks followed by
 117     five-byte Stream Padding. Stream Padding must be a multiple of four
 118     bytes, thus this file is corrupt.
 119
 120     bad-0catpad-empty.xz has two zero-Block Streams concatenated with
 121     five-byte Stream Padding between the Streams.
 122
 123     bad-0cat-alone.xz is good-0-empty.xz concatenated with an empty
 124     LZMA_Alone file.
 125
 126     bad-0cat-header_magic.xz is good-0cat-empty.xz but with one byte
 127     wrong in the Header Magic Bytes field of the second Stream. liblzma
 128     gives LZMA_DATA_ERROR for this. (LZMA_FORMAT_ERROR is used only if
 129     the first Stream of a file has invalid Header Magic Bytes.)
 130
 131     bad-0-header_magic.xz is good-0-empty.xz but with one byte wrong
 132     in the Header Magic Bytes field. liblzma gives LZMA_FORMAT_ERROR for
 133     this.
 134
 135     bad-0-footer_magic.xz is good-0-empty.xz but with one byte wrong
 136     in the Footer Magic Bytes field. liblzma gives LZMA_DATA_ERROR for
 137     this.
 138
 139     bad-0-empty-truncated.xz is good-0-empty.xz without the last byte
 140     of the file.
 141
 142     bad-0-nonempty_index.xz has no Blocks but Index claims that there is
 143     one Block.
 144
 145     bad-0-backward_size.xz has wrong Backward Size in Stream Footer.
 146
 147     bad-1-stream_flags-1.xz has different Stream Flags in Stream Header
 148     and Stream Footer.
 149
 150     bad-1-stream_flags-2.xz has wrong CRC32 in Stream Header.
 151
 152     bad-1-stream_flags-3.xz has wrong CRC32 in Stream Footer.
 153
 154     bad-1-vli-1.xz has two-byte variable-length integer in the
 155     Uncompressed Size field in Block Header while one-byte would be enough
 156     for that value. It's important that the file gets rejected due to too
 157     big integer encoding instead of due to Uncompressed Size not matching
 158     the value stored in the Block Header. That is, the decoder must not
 159     try to decode the Compressed Data field.
 160
 161     bad-1-vli-2.xz has ten-byte variable-length integer as Uncompressed
 162     Size in Block Header. It's important that the file gets rejected due
 163     to too big integer encoding instead of due to Uncompressed Size not
 164     matching the value stored in the Block Header. That is, the decoder
 165     must not try to decode the Compressed Data field.
 166
 167     bad-1-block_header-1.xz has Block Header that ends in the middle of
 168     the Filter Flags field.
 169
 170     bad-1-block_header-2.xz has Block Header that has Compressed Size and
 171     Uncompressed Size but no List of Filter Flags field.
 172
 173     bad-1-block_header-3.xz has wrong CRC32 in Block Header.
 174
 175     bad-1-block_header-4.xz has too big Compressed Size in Block Header
 176     (2^64 - 1 bytes while maximum is a little less, because the whole
 177     Block must stay smaller than 2^64). It's important that the file
 178     gets rejected due to invalid Compressed Size value; the decoder
 179     must not try decoding the Compressed Data field.
 180
 181     bad-1-block_header-5.xz has zero as Compressed Size in Block Header.
 182
 183     bad-2-index-1.xz has wrong Total Sizes in Index.
 184
 185     bad-2-index-2.xz has wrong Uncompressed Sizes in Index.
 186
 187     bad-2-index-3.xz has non-nul byte in Index Padding.
 188
 189     bad-2-index-4.xz wrong CRC32 in Index.
 190
 191     bad-2-index-5.xz has zero as Total Size. It is important that the file
 192     gets rejected specifically due to Total Size having an invalid value.
 193
 194     bad-2-compressed_data_padding.xz has non-nul byte in the padding of
 195     the Compressed Data field of the first Block.
 196
 197     bad-1-check-crc32.xz has wrong Check (CRC32).
 198
 199     bad-1-check-crc64.xz has wrong Check (CRC64).
 200
 201     bad-1-check-sha256.xz has wrong Check (SHA-256).
 202
 203     bad-1-lzma2-1.xz has LZMA2 stream whose first chunk (uncompressed)
 204     doesn't reset the dictionary.
 205
 206     bad-1-lzma2-2.xz has two LZMA2 chunks, of which the second chunk
 207     indicates dictionary reset, but the LZMA compressed data tries to
 208     repeat data from the previous chunk.
 209
 210     bad-1-lzma2-3.xz sets new invalid properties (lc=8, lp=0, pb=0) in
 211     the middle of Block.
 212
 213     bad-1-lzma2-4.xz has two LZMA2 chunks, of which the first is
 214     uncompressed and the second is LZMA. The first chunk resets dictionary
 215     as it should, but the second chunk tries to reset state without
 216     specifying properties for LZMA.
 217
 218     bad-1-lzma2-5.xz is like bad-1-lzma2-4.xz but doesn't try to reset
 219     anything in the header of the second chunk.
 220
 221     bad-1-lzma2-6.xz has reserved LZMA2 control byte value (0x03).
 222
 223     bad-1-lzma2-7.xz has EOPM at LZMA level.
 224