Prevent LZ encoder from hanging with known uncompressed
size. The "fix" breaks LZMA_SYNC_FLUSH at end of stream
with known uncompressed size, but since it currently seems
likely that support for encoding with known uncompressed
size will go away anyway, I'm not fixing this problem now.

Removed src/liblzma/common/sysdefs.h symlink, which was
annoying, because "make dist" put two copies of sysdefs.h
into the tarball instead of the symlink.

Added memusage.c to debug directory.

Bumped version number to 4.999.3alpha. It will become 5.0.0
once we have a stable release (won't be very soon). The
version number is no longer related to version of LZMA SDK.

Made some small Automake-related changes to toplevel
Makefile.am and configure.ac.

Fix a memory leak by calling free(extra->data) in
lzma_extra_free().

Make unlzma and lzcat symlinks.

Fixed a bug in command line option parsing.

Added two assert()s.

Switch to uint16_t as the type of range coder probabilities.

Fix wrong return type (uint32_t -> bool).

Fix data corruption in LZ encoder with LZMA_SYNC_FLUSH.

Fix fastpos problem in Makefile.am when built with --enable-small.

Use 64-bit integer as range encoder's cache size. This fixes a
theoretical data corruption, which should be very hard to trigger
even intentionally.

Replaced the range decoder optimization that used arithmetic
right shift with as fast version that doesn't need
arithmetic right shift. Removed the related check from
configure.ac.

Take advantage of arithmetic right shift in range decoder.

Added autoconf check to detect if we can use arithmetic
right shift for optimizations.

Update a comment to use the variable name rep_len_decoder.

(And BTW, the previous commit actually did change the
program logic slightly.)

Demystified the "state" variable in LZMA code. Use the
word literal instead of char for better consistency.
There are still some names with _char instead of _literal
in lzma_optimum, these may be changed later.

Renamed length coder variables.

This commit doesn't change the program logic.

Fix data corruption in LZMA encoder. Note that this bug was
specific to liblzma and was *not* present in LZMA SDK.

Fix a comment API header.

Make lzma_stream.next_in const. Let's see if anyone complains.

Apply a minor speed optimization to LZMA decoder.

Initialize the last byte of the dictionary to zero so that
lz_get_byte(lz, 0) returns zero. This was broken by
1a3b21859818e4d8e89a1da99699233c1bfd197d.

Really fix the price count initialization.

Updated THANKS.

Initialize align_price_count and match_price_count in
lzma_encoder_init.c. While we don't call
fill_distances_prices() and fill_align_prices() in
lzma_lzma_encoder_init(), we still need to initialize
these two variables so that the fill functions get
called in lzma_encoder_getoptimum.c in the beginning
of a stream.

Always initialize lz->temp_size in lz_decoder.c. temp_size did
get initialized as a side-effect after allocating a new decoder,
but not when the decoder was reused.

Don't fill allocated memory with 0xFD when debugging is
enabled. It hides errors from Valgrind.

Remove two redundant validity checks from the LZMA decoder.
These are already checked elsewhere, so omitting these
gives (very) tiny speed up.

Tiny clean up to file-format.txt.

Don't memzero() the history buffer when initializing LZ
decoder. There's no danger of information leak here, so
it isn't required. Doing memzero() takes a lot of time
with large dictionaries, which could make it easier to
construct DoS attack to consume too much CPU time.

Do uncompressed size validation in raw encoder. This way
it gets done for not only raw encoder, but also Block
and LZMA_Alone encoders.

Avoid unneeded function call in raw_common.c.

Updated THANKS.

Added note.GNU-stack to x86 assembler files. It is needed
when using non-executable stack.

Added api/lzma/easy.h. I had forgot to add this to the
git repo. Thanks to Stephan Kulow.

Added more test files.

Added more test files.

Return LZMA_HEADER_ERROR if LZMA_SYNC_FLUSH is used with any
of the so called simple filters. If there is demand, limited
support for LZMA_SYNC_FLUSH may be added in future.

After this commit, using LZMA_SYNC_FLUSH shouldn't cause
undefined behavior in any situation.

Added more Multi-Block test files. Improved some
descriptions in the test files' README.

Combine lzma_options_block validation needed by both Block
encoder and decoder, and put the shared things to
block_private.h. Improved the checks a little so that
they may detect too big Compressed Size at initialization
time if lzma_options_block.total_size or .total_limit is
known.

Allow encoding and decoding Blocks with combinations of
fields that are not allowed by the file format specification.
Doing this requires that the application passes such a
combination in lzma_options_lzma; liblzma doesn't do that,
but it's not impossible that someone could find them useful
in some custom file format.

Added test_memlimit.c.

Improved the memory limitter:
  - Added lzma_memlimit_max() and lzma_memlimit_reached()
    API functions.
  - Added simple estimation of malloc()'s memory usage
    overhead.
  - Fixed integer overflow detection in lzma_memlimit_alloc().
  - Made some white space cleanups and added more comments.

The description of lzma_memlimit_max() in memlimit.h is bad
and should be improved.

Use more parenthesis in succeed() macro in tests/tests.h.

Added more Multi-Block Stream test files.

Added bunch of test files containing Multi-Block Streams.

Fix decoding of empty Metadata Blocks, that don't have
even the Metadata Flags field. Earlier the code allowed
such files; now they are prohibited as the file format
specification requires.

Fix a bug related to 99e12af4e2b866c011fe0106cd1e0bfdcc8fe9c6.
lzma_metadata.header_metadata_size was not properly set to
zero if the Metadata had only the Metadata Flags field.

Fix decoding of Extra Records that have empty Data.

Add the trailing '\0' to lzma_extra.data as the API header
already documents.

Added debug/full_flush.c.

Return LZMA_STREAM_END instead of LZMA_OK if
LZMA_SYNC_FLUSH or LZMA_FULL_FLUSH is used when
there's no unfinished Block open.

Added bad-single-none-footer_filter_flags.lzma and
bad-single-none-too_long_vli.lzma.

Fixed a typo.

Fix a memory leak in the Subblock encoder.

Fix Size of Header Metadata Block handling. Now
lzma_metadata.header_metadata_size == LZMA_VLI_VALUE_UNKNOWN
is not allowed at all. To indicate missing Header Metadata
Block, header_metadata_size must be set to zero. This is
what Metadata decoder does after this patch too.

Note that other missing fields in lzma_metadata are still
indicated with LZMA_VLI_VALUE_UNKNOWN. This isn't as
illogical as it sounds at first, because missing Size of
Header Metadata Block means that Header Metadata Block is
not present in the Stream. With other Metadata fields,
a missing field means only that the value is unknown.

Fix a memory leak in metadata_decoder.c.

Fix the fix 863028cb7ad6d8d0455fa69348f56b376d7b908f which
just moved to problem. Now it's really fixed.

Take advantage of return_if_error() macro in
lzma_info_metadata_set() in info.c.

Fixed a dangling pointer that caused invalid free().

Added lzma_easy_* functions. These should make using
liblzma as easy as using zlib, because the easy API
don't require developers to know any fancy LZMA options.

Note that Multi-Block Stream encoding is currently broken.
The easy API should be OK, the bug(s) are elsewhere.

Fix Multi-Block Stream encoder's EOPM usage.

Made lzma_extra pointers const in lzma_options_stream.

Updated debug/sync_flush.c.

Added debug/repeat.c.

Fix alignment handling bugs in Subblock encoder.

This leaves one known alignment bug unfixed: If repeat count
doesn't fit into 28-bit integer, the encoder has to split
this to multiple Subblocks with Subblock Type `Repeating Data'.
The extra Subblocks may have wrong alignment. Correct alignment
is restored after the split Repeating Data has been completely
written out.

Since the encoder doesn't even try to fix the alignment unless
the size of Data is at least 4 bytes, to trigger this bug you
need at least 4 GiB of repeating data with sequence length of
4 or more bytes. Since the worst thing done by this bug is
misaligned data (no data corruption), this bug simply isn't
worth fixing, because a proper fix isn't simple.

Implemented LZMA_SYNC_FLUSH support to the Subblock encoder.
The API for handing Subfilters was changed to make it
consistent with LZMA_SYNC_FLUSH.

A few sanity checks were added for Subfilter handling. Some
small bugs were fixed. More comments were added.

Revised the Delta filter implementation. The initialization
function is still shared between encoder and decoder, but the
actual coding is in separate files for encoder and decoder.

There are now separate functions for the actual delta
calculation depending on if Delta is the last filter in the
chain or not. If it is the last, the new code copies the
data from input to output buffer and does the delta
calculation at the same time. The old code first copied the
data, then did the delta in the target buffer, which required
reading through the data twice.

Support for LZMA_SYNC_FLUSH was added to the Delta encoder.
This doesn't change anything in the file format.

Added the debug directory and the first debug tool
(sync_flush). These tools are not built unless the
user runs "make" in the debug directory.

Added test files to test usage of flush marker in LZMA.

Fix LZMA_SYNC_FLUSH handling in LZ and LZMA encoders.
That code is now almost completely in LZ coder, where
it can be shared with other LZ77-based algorithms in
future.

Don't add -g to CFLAGS when --enable-debug is specified.
It's the job of the user to put that in CFLAGS.

Set stdin and stdout to binary mode on Windows. This patch is
a forward port of b7b22fcb979a16d3a47c8001f058c9f7d4416068
from lzma-utils-legacy.git. I don't know if the new code base
builds on Windows, but this is a start.

Added test_compress.sh and bunch of files needed by it.
This new set of tests compress and decompress several
test files with many different compression options.
This set of tests will be extended later.

Subblock decoder: Don't exit the main loop in decode_buffer()
too early if we hit End of Input while decoding a Subblock of
type Repeating Data. To keep the loop termination condition
elegant, the order of enumerations in coder->sequence were
changed.

To keep the case-labels in roughly the same order as the
enumerations in coder->sequence, large chunks of code was
moved around. This made the diff big and ugly compared to
the amount of the actual changes made.

Fix wrong too small size of argument unfiltered_max
in ia64_coder_init(). It triggered assert() in
simple_coder.c, and could have caused a buffer overflow.

This error was probably a copypaste mistake, since most
of the simple filters use unfiltered_max = 4.

Added --delta to the output of "lzma --help".

Fix Subblock docoder: If Subblock filter was used with known
Uncompressed Size, and the last output byte was from RLE,
the code didn't stop decoding as it should have done.

Tiny non-technical edits to file-format.txt.

Plugged a memory leak in stream_decoder.c.

Added memory leak detection to lzmadec.c.

Added lzma_memlimit_count().

Added ARRAY_SIZE(array) macro.

Make Uncompresed Size validation more strict
in alone_decoder.c.

Free the allocated memory in lzmadec if debugging is
enabled. This should make it possible to detect possible
memory leaks with Valgrind.

Fix memory leaks from test_block_header.c.

Use fastpos.h when encoding LZMA dictionary size in
Filter Flags encoder.

Revised the fastpos code. It now uses the slightly faster
table-based version from LZMA SDK 4.57. This should be
fast on most systems.

A simpler and smaller alternative version is also provided.
On some CPUs this can be even a little faster than the
default table-based version (see comments in fastpos.h),
but on most systems the table-based code is faster.

Added bsr.h.

Fixed assembler detection in configure.ac, and added
detection for x86_64.

Omit invalid space from printf() format string
in price_table_gen.c.

Removed a few unused macros from lzma_common.h.

Fix a typo in lzma_encoder.c.

Convert bittree_get_price() and bittree_reverse_get_price()
from macros to inline functions.

Fix CRC code in case --enable-small is used.

Fix typo in test_index.c.

Added precomputed range coder probability price table.

Remove RC_BUFFER_SIZE from lzma_encoder_private.h
and replace it with a sanity check.

Major changes to LZ encoder, LZMA encoder, and range encoder.
These changes implement support for LZMA_SYNC_FLUSH in LZMA
encoder, and move the temporary buffer needed by range encoder
from lzma_range_encoder structure to lzma_lz_encoder.

Added one assert() to process.c of the command line tool.